OpenAI CEO、「規模の拡大が進歩の唯一の方法ではなく、巨大な AI モデルの時代は終わりを迎えるかもしれない」

4 月 18 日のニュース、OpenAI のチャットボット ChatGPT は非常に強力であるため、人工知能への大きな関心と投資を引き起こしています。しかし、同社のCEOであるサム・アルトマン氏は、既存の研究戦略は失敗しており、将来のAIの進歩には新しいアイデアが必要であると考えている。

近年、OpenAI は、既存の機械学習アルゴリズムを以前は想像もできなかった規模に拡張することにより、処理言語において目覚ましい一連の進歩を遂げてきました。同社が最近開発したプロジェクトはGPT-4で、1億ドル以上の費用をかけて数兆語のテキストと数千個の強力なコンピュータチップを使って訓練されたという。

しかし、アルトマン氏は、AIの将来の進歩はもはやモデルの大型化に依存しない、と述べた。同氏はマサチューセッツ工科大学（MIT）のイベントで「私たちは時代の終わりに来ていると思う。この（発信する）時代において、モデルはますます大きくなった。これからは、別の形でモデルを作ろうとしている」と語った。

アルトマン氏のコメントは、新しい AI アルゴリズムの開発と展開をめぐる競争における予期せぬ展開を表しています。 11月にChatGPTを発表して以来、Microsoftは基礎となるテクノロジーを活用してBing検索エンジンにチャットボットを追加し、GoogleはBardという競合他社を立ち上げた。多くの人が、仕事や個人的なタスクを支援するために、この新しいチャットボットを試してみたいと考えています。

一方、Anthropic、AI21、Cohere、Character.AI など、資金豊富なスタートアップ企業の多くは、OpenAI に追いつくために、より大規模なアルゴリズムの構築にリソースを注ぎ込んでいます。 ChatGPT の初期バージョンは GPT-3 に基づいて構築されていますが、ユーザーはより強力な GPT-4 サポート バージョンにもアクセスできるようになりました。

アルトマン氏の声明は、モデルを拡張し、トレーニング用にさらに多くのデータを提供する戦略を採用した後、GPT-4 が OpenAI の最後の主要な成果になる可能性があることも示唆しました。ただし、現在の方法に代わる可能性のある研究戦略や技術については明らかにしませんでした。 GPT-4について説明した論文の中でOpenAIは、その推定ではモデルのスケールアップによる利益の減少が示されていると述べた。アルトマン氏によると、同社が建設できるデータセンターの数や、その建設速度には物理的な限界があるという。

Cohereの共同創設者でGoogleで人工知能の開発に携わったニック・フロスト氏は、アルトマン氏の言う「モデルのサイズを無制限に拡大し続けることは効果的な解決策ではない。計画」は正しいと述べた。彼は、GPT-4 およびその他のトランスフォーマー タイプ (編集グループ: トランスフォーマーは直訳するとコンバーター、GPT は Generative pre-trained Transformers の略で、トランスフォーマーに基づく生成事前トレーニング モデルを意味します) の機械学習モデルが進歩していると信じています。もはやスケーリングだけではありません。

Frost 氏は次のように付け加えました。「変圧器をより良く、より便利にする方法はたくさんありますが、その多くはモデルにパラメータを追加する必要はありません。新しい人工知能モデルの設計またはアーキテクチャと、人間ベースのさらなる調整「フィードバックは、多くの研究者がすでに模索している方向性です。」

OpenAI の言語アルゴリズム ファミリでは、各バージョンは人工ニューラル ネットワークで構成されています。このソフトウェアの設計は、ニューラル ネットワークからインスピレーションを得ています。要素が相互作用する方法相互に学習すると、トレーニング後に、指定されたテキスト文字列に続く単語を予測できます。

2019 年、OpenAI は最初の言語モデル GPT-2 をリリースしました。これには最大 15 億のパラメータが含まれ、ニューロン間の調整可能な接続数の尺度です。これは、スケールアップによってモデルの一貫性が高まるという OpenAI 研究者らの発見のおかげもあって、非常に大きな数字です。

2020 年、OpenAI は GPT-2 の後継となる GPT-3 を発表しました。これは、最大 1,750 億のパラメータを備えたより大きなモデルです。詩、電子メール、その他のテキストを生成する GPT-3 の幅広い機能により、他の企業や研究機関は、独自の AI モデルを GPT-3 と同等またはそれ以上のスケールに拡張できると考えるようになりました。

昨年 11 月に ChatGPT がデビューした後、ミーム作成者やテクノロジー専門家は、GPT-4 が登場すると、より多くのパラメータを備えたより複雑なモデルになるだろうと推測しました。しかし、OpenAI が新しい AI モデルを最終的に発表したとき、同社はそれがどのくらいの大きさになるかについては明らかにしませんでした。おそらく、重要なのはサイズだけではなくなったためでしょう。 MIT のイベントで、アルトマン氏は GPT-4 のトレーニング費用は 1 億ドルかどうか尋ねられ、「それ以上です」と答えました。

OpenAI は GPT-4 のスケールと内部動作を秘密にしていますが、パフォーマンスを向上させるためにスケールアップのみに依存しているわけではなくなっている可能性があります。可能性の 1 つは、同社が ChatGPT の機能を強化するために「人間のフィードバックによる強化学習」と呼ばれる手法を使用したことです。これには、人間がモデルの回答の品質を判断し、高品質と判断される可能性が高いサービスを提供するように誘導することが含まれます。答え。

GPT-4 の並外れた能力は多くの専門家を驚かせ、経済を変革する AI の可能性についての議論を引き起こし、偽情報を広めて失業を生み出す可能性があるという懸念も引き起こしました。最近、テスラのイーロン・マスク最高経営責任者（CEO）を含む多くの起業家やAI専門家が、GPT-4より強力なモデルの開発を6か月間停止することを求める公開書簡に署名した。

MIT のイベントで、アルトマン氏は、彼の会社が現在 GPT-5 を開発していないことを認めました。同氏はさらに、「この公開書簡の以前のバージョンでは、OpenAI が GPT-5 のトレーニングを行っていると主張していた。実際、我々はこれを行っておらず、短期的には行うつもりはない。」と付け加えた。

以上がOpenAI CEO、「規模の拡大が進歩の唯一の方法ではなく、巨大な AI モデルの時代は終わりを迎えるかもしれない」の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。