GPT-3: 書き込みができる人工知能

翻訳者 | Cui Hao

査読者 | Sun Shujuan

冒頭

人工知能 (AI) は開発の初期段階にあるかもしれませんが、人間がテクノロジーと対話する方法に革命をもたらす可能性があります。

人工知能の概要

人工知能に関しては、現在 2 つの主な見解があります。 AI は最終的に人間の知性を超えると信じている人もいますが、AI は常に人類に役立つと信じている人もいます。双方が同意できることが 1 つあります。それは、人工知能がますます加速するペースで開発されているということです。

人工知能 (AI) はまだ開発の初期段階にありますが、人間がテクノロジーと対話する方法に革命をもたらす可能性があります。

#単純かつ一般的に説明すると、人工知能はコンピューターが自ら意思決定を行うようにプログラムするプロセスであるということです。これはさまざまな方法で実現できますが、最も一般的な方法はアルゴリズムを使用することです。アルゴリズムは、問題を解決するために従うことができる一連のルールまたは指示です。人工知能の場合、アルゴリズムはコンピューターに意思決定の方法を教えるために使用されます。

#これまで、人工知能は主に、チェスをしたり、数学の問題を解くなどの単純なタスクに使用されていました。現在、人工知能は、顔認識、自然言語処理、さらには自動運転など、より複雑なタスクに使用されています。人工知能は発展を続けていますが、将来的にどのような機能を備えているのかはわかりません。 AI の機能が急速に拡大するにつれて、AI が何であるか、どのように機能するか、およびその潜在的な影響を理解することが重要です。

#人工知能によってもたらされる恩恵は非常に大きいです。 AI は、自ら意思決定を行う能力を備えているため、無数の産業をより効率化し、あらゆる種類の人々に機会を提供する可能性を秘めています。この記事では GPT-3 について説明します。

GPT-3 は、サンフランシスコに拠点を置く先駆的な AI 研究会社である OpenAI によって作成されました。彼らは自分たちの目標を「人工知能が全人類に確実に利益をもたらすこと」と定義しています。人工知能を作成するための彼らのビジョンは明確です。それは、特殊なタスクに限定されず、人間と同じようにさまざまなタスクを実行できる人工知能です。

# 数か月前、OpenAI 社は GPT-3 と呼ばれる新しい言語モデルをすべてのユーザーにリリースしました。 GPT-3 は Generative Pretrained Transformer 3 の略称で、プロンプトと呼ばれる前提を通じてテキストを生成する機能が含まれています。簡単に言えば、高レベルの「オートコンプリート」機能を備えています。たとえば、特定のトピックについて 2 つまたは 3 つの文を提供するだけで、残りは GPT-3 が実行します。会話を生成することもでき、GPT-3 によって与えられる回答は、以前の質問と回答のコンテキストに基づいています。

GPT-3 によって提供される各回答は単なる可能性であり、それが唯一の可能な回答ではないことを強調しておく必要があります。さらに、同じ前提を複数回テストすると、異なる答えが得られたり、矛盾した答えが得られたりする可能性があります。つまり、これまでに話されたことに基づいて答えを返し、それを知っているすべてのことに結び付けて、最も合理的な答えを得るモデルです。これは、実際のデータを使用して回答する義務はないことを意味しますが、これは考慮する必要があります。これは、ユーザーが関連する作業データを開示できないという意味ではありませんが、GPT-3 はこのデータをコンテキスト情報と比較する必要があります。コンテキストがより包括的であればあるほど、より合理的な答えが得られますし、その逆も同様です。

OpenAI の GPT-3 言語モデルは事前トレーニングされており、トレーニングにはインターネット上の大量の情報の学習が含まれます。 GPT-3 は、公的に入手可能なすべての書籍、Wikipedia のコンテンツ全体、インターネット上の何百万もの Web ページや科学論文に組み込まれています。つまり、これには私たちが歴史を通じてウェブ上で公開してきた最も重要な人類の知識が組み込まれています。

#この情報を読み取って分析した後、言語モデルは 48 個の 16 GB GPU 上にある 700 GB モデルに接続を作成しました。この次元を理解できるようにするために、以前の OpenAI モデルである GPT-2 モデルのサイズは 40 GB で、4,500 万の Web ページを分析しました。 GPT-2 には 15 億のパラメーターがあるのに対し、GPT-3 には 1,750 億のパラメーターがあるため、その違いは非常に大きくなります。

#テストをしてみませんか? GPT-3 にそれ自体を定義する方法を尋ねたところ、結果は次のようになります:

GPT-3 の使用方法

GPT-3 を使用してテストできるようにするために必要な唯一のことウェブサイトにアクセスし、個人情報を登録して追加します。プロセス中に次の質問が表示されます: 人工知能を何に使用しますか? これらの例では、「個人使用」オプションを選択しました。

# 私の経験では、英語の文脈ではこの方がうまく機能することを指摘したいと思います。これは、他の言語ではうまく機能しないという意味ではありません。実際、スペイン語では非常にうまく機能しますが、私は英語で得られる結果の方が好きです。そのため、これからはテストと結果を示します。英語で。

#GPT-3 は、入場時に無料のプレゼントをくれました。メールアドレスと電話番号でサインアップすると、支払方法を入力する必要がなく、完全に無料で 18 ドルを使用できるようになります。大した金額ではないように思えるかもしれませんが、実際には 18 ドルはかなりの金額です。参考までに、私は AI を 5 時間テストしましたが、費用はわずか 1 ドルでした。後ほど、料金についてご説明しますので、ご理解いただけると幸いです。

#Web サイトに入ると、[プレイグラウンド] セクションに移動する必要があります。ここですべての魔法が起こります。

Prompt Submit

まず、インターネット上で最も目を引くのは、大きなテキストボックス。ここで、AI へのプロンプトの入力を開始できます (これらは私たちのリクエストや指示であることを思い出してください)。何か (この場合は質問) を入力し、下の送信ボタンをクリックするだけで、GPT-3 が回答し、要求した内容を書き込むだけです。

Preset は、さまざまなタスクのためにいつでも実行できる関数です。これらはテキスト ボックスの右上隅にあります。それらのいくつかをクリックすると、「その他の例」という新しい画面が開き、リスト全体が表示されます。プリセットを選択すると、テキスト領域の内容がデフォルトのテキストで更新されます。右側のサイドバーの設定も更新されます。たとえば、「文法修正」プリセットを使用する場合、最良の結果を得るには次の構造に従う必要があります。

GPT-3 のトレーニングに使用される大規模なデータセット、それが GPT-3 ですそれが非常に強力である主な理由。ただし、大きければ大きいほど良いというわけではありません。これらの理由から、OpenAI は 4 つの主要なモデルを提供します。もちろん他のモデルもありますが、現在使用している最新バージョンを使用することをお勧めします。

#利用可能なモデルは、Davinci、Babbage、Curie、および Ada と呼ばれます。 4 つのモデルの中で、Davinci は他のエンジンによって実行されるあらゆるタスクをカバーできるため、最大かつ最も高性能です。

#モデルの概要と、モデルに適合するタスクの種類について説明します。小型のエンジンはそれほど多くのデータに基づいてトレーニングされていない可能性がありますが、それでも特定のタスクには非常に実現可能で便利な汎用モデルであることに留意してください。

上で述べたように、これは最も有能なモデルであり、他のモデルが実行できることはすべて実行できますが、通常は必要な命令が少なくなります。 。レオナルド・ダ・ヴィンチは、論理的な問題を解決し、因果関係を判断し、テキストの意図を理解し、創造的なコンテンツを作成し、登場人物の動機を説明し、複雑な要約タスクを処理することができました。

このモデルは、コンピューティング能力と速度のバランスをとろうとします。 Ada や Babbage が実行できることはすべて実行できますが、より複雑な分類タスクや、要約、感情分析、チャットボット アプリケーション、質問応答などのより微妙なタスクも処理できます。

バベッジ

その能力はエイダよりわずかに強力ですが、それほど効率的ではありません。 Ada と同じタスクをすべて実行できますが、少し複雑な分類タスクも処理できるため、ドキュメントが検索クエリにどの程度一致するかを分類するセマンティック検索タスクに最適です。

Ada

最後に、これは通常、最も高速で安価なモデルです。テキストの解析、テキストの再フォーマット、単純な分類タスクなど、微妙なニュアンスの異なるタスクに最適です。 Ada に提供するコンテキストが多いほど、パフォーマンスが向上します。

エンジン

キューに対して最適な応答を得るために調整できるその他のパラメータはモデルです。

#GPT-3 エンジンの出力を制御する最も重要な設定の 1 つは温度です。この設定は、生成されるテキストのランダム性を制御します。値が 0 の場合、エンジンは決定的です。つまり、特定のテキスト入力に対して、常に同じ出力が生成されます。値が 1 の場合、エンジンは最大のリスクを負い、多くの創造性を使用します。

#自分で実行できたテストの一部では、GPT-3 が文の途中で停止することに気づいたかもしれません。生成を許可するテキストの最大量を制御するには、トークンで指定された「max-length」設定を使用できます。このトークンが何であるかについては後ほど説明します。

「Top P」パラメータは GPT-3 テキストのランダム性と創造性を制御できますが、この場合はトークン (単語) が確率内にあります。 range ) を配置する場所によって異なります (0.1 は 10% になります)。 OpenAI のドキュメントでは、Temperature と Top P の間で 1 つの関数のみを使用することが推奨されているため、一方を使用する場合は、もう一方が 1 に設定されていることを確認してください。

#一方、GPT-3 によって与えられた回答にペナルティを与えるパラメーターが 2 つあります。その 1 つは「周波数ペナルティ」で、モデルが繰り返し予測を行う傾向を制御します。また、単語が生成される確率も低くなり、単語が予測に何回出現したかに依存します。

#2 番目のペナルティは存在ペナルティです。ペナルティ パラメーターの存在により、モデルは新しい予測を行うようになります。予測されたテキストに単語がすでに出現している場合、その単語の確率を下げるペナルティがあります。頻度ペナルティとは異なり、存在ペナルティは、その単語が過去の予測に出現した頻度には依存しません。

#最後に、クエリに対して複数の回答を生成する「最良の」パラメータがあります。 Playground は私たちに応答するのに最適なものを選択します。 GPT-3 は、プロンプトに対していくつかの完全な回答をすると、より多くのトークンを消費することになると警告します。

歴史

#このセクションを完了するには、[送信] ボタンの横にある 3 番目のアイコンに GPT-3 All への取り組みが表示されます。歴史的なリクエスト。ここでは、最もパフォーマンスの高い応答のプロンプトを見つけることができます。

手数料とトークン

GPT-3 は、月額ではなく、無料の 18 ドルのクレジットが使い果たされた後もプラットフォームを使い続ける方法も提供します。サブスクリプションとかその類のもの。価格は使用量に直接関係します。つまり、トークンに応じて課金されます。これは人工知能に使用される用語であり、トークンは出力のコストに関係します。トークンは文字から文まで何でも構いません。したがって、AI のそれぞれの使用にどれくらいの費用がかかるかを正確に知ることは困難です。しかし、通常は 1 ドルで 1 ペニーであることを考えると、少し試してみるだけで、すべてのものがいくらかかるかを知るのにそれほど時間はかかりません。

OpenAI は GPT-3 の使用例を 12 件しか示していませんが、各例に費やされたトークンを確認できるため、GPT-3 がどのように機能するかをよりよく理解できます。

#これらはバージョンとそれぞれの価格です。

# 特定の単語数にどれくらいの費用がかかるかを知るため、または、マークアップがどのように機能するかのアイデア たとえば、Tokenizer と呼ばれる次のツールがあります。

これは、GPT シリーズのモデルが、テキスト内にある一般的な文字のシーケンスであるトークンを使用してテキストを処理することを示しています。モデルはトークン間の統計的関係を理解し​​、次のトークンが本番シーケンスで使用されるときに選択されます。

#最後に、これは同じ例でどれくらいの費用がかかるかを示す低レベルの例です。

私の観点からすると、GPT-3 はユーザーがその方法を知っておく必要があるものです。 GPT-3 を正しく使用しても、必ずしも正しいデータが得られるわけではありません。これは、仕事をしたり、質問に答えたり、宿題をしたりするためにそれを使用したい場合、望む結果に近づけるために、それが与える答えについて適切なコンテキストを提供する必要があることを意味します。

GPT-3 によって教育が変わるのではないか、あるいは GPT-3 によって現在存在する執筆関連の仕事の一部がなくなるのではないかと心配する人もいます。私の謙虚な意見では、これは起こるだろう。遅かれ早かれ、私たち全員が人工知能に取って代わられるでしょう。この例は文章に関する人工知能ですが、プログラミングや絵画、オーディオなどにも人工知能は存在します。

#一方で、個人的にも専門的にも、非常に多くの仕事やプロジェクトにさらに多くの可能性が開かれます。たとえば、ホラー小説を書きたいと思ったことはありますか?この機能は、文法チェッカーのサンプル リストで具体的に実装できます。

ここまで述べましたが、私が言いたいのは、私たちは人工知能の初期バージョンにいます。この世界には、人工知能を必要とする製品がまだたくさんあるということです。しかし、成長と改善が必要な製品はまだたくさんあります。私たちが人工知能を学び、使用する限り、最適な応答を与えるために継続的に人工知能を訓練する必要があります。

Cui Hao 氏、51CTO コミュニティ編集者、シニア アーキテクト、ソフトウェア開発とアーキテクチャの経験が 18 年、分散アーキテクチャの経験が 10 年あります。経験。

元のタイトル: GPT-3 Playground: The AI That Can Write for You by Isaac Alvarez

以上がGPT-3: 書き込みができる人工知能の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。