OpenAI が GPT-4 をリリースしますが、注目に値する技術トレンドは何ですか?

この記事は、新浪微博の新技術研究開発責任者であり、中国情報協会理事でもある張君林氏が、Zhihu の質問「OpenAI が GPT-4 をリリース、技術的な最適化や画期的な点は何か」に対する回答です。 ?」 GPT4 技術レポートを要約しています。ここで指摘された 3 つの方向性は、他の 2 つの技術的方向性にも言及しています。

#この歴史的な瞬間に、質問に答えて歴史の証人としてあなた自身の足跡を残してください。

GPT4 の技術レポートは、次の 3 つの新しい方向性を明確に指摘しました。

第一に、LLM に関する最先端の研究の終了、または小さな円。テクニカルレポートには、競争と安全性を考慮して、モデルサイズなどの技術的な詳細は発表されていないと記載されている。 GPT 2.0 のオープンソースから GPT 3.0 までは論文のみで、ChatGPT までは論文がなく、GPT 4.0 までは技術レポートはパフォーマンス評価レポートに似ていました。明らかな傾向は、OpenAI が CloseAI としての名前を固め、OpenAI が最先端の LLM 研究に関する論文を発表しなくなることです。

この場合、比較的高度な技術を持つ他の企業には 2 つの選択肢があります。 1 つは、より極端なオープン ソース LLM を行うことです。たとえば、Meta はこの道を選択したようです。これは一般に、競争上不利な立場にある企業が行う合理的な選択ですが、関連するテクノロジが最先端のテクノロジではないことがよくあります。もう 1 つの選択肢は、OpenAI をフォローアップし、テクノロジーを閉鎖することも選択しました。 Googleは以前、LLMの第2階層とみなされていた。しかし、「Microsoft OpenAI」の複合的な影響により、状況は少し恥ずかしいものになりました。 GPT 4.0 は昨年 8 月に完成しました。GPT 5.0 は現在改良の過程にあると推定されています。これほど長い時間がかかると、Google は最終的に現在の状況に陥るでしょう。Transformer や Transformer などの非常に重要な研究について考えてみましょう。 CoTは全部自分たちでやっているので、幹部が何を考えてこういうことになったかはわかりません。 Google がその後すぐにフォローアップできれば、2 位に留まるのは大きな問題ではないはずで、テクノロジー分野で 3 位を大きく上回る可能性があります。競争を考慮すると、Google は OpenAI の技術的閉鎖の道をたどる可能性が最も高いと思います。最先端の LLM テクノロジーは、公衆、特に OpenAI に利益をもたらすために論文を書いてリリースするのではなく、まず独自の万能薬を洗練するために使用されるでしょう。これはLLMにおける最先端の研究の閉鎖につながる可能性が高い。

中国での一定期間が経過した今から数えます (ChatGPT で 60 ～ 30% の割引を達成するにはもっと早くなるはずですが、それにはさらに時間がかかると推定されています)時間が均等になるまで）、必然的に独立したイノベーションの状況に入らざるを得なくなります。この3ヶ月間の国内のさまざまな状況から判断すると、今後はどうなるでしょうか？おそらく楽観的ではありません。もちろん、このレベルは確かに難しいですが、必ず突破しなければならないので、実力と覚悟のある人は頑張ってほしいと願うばかりです。

第二に、GPT 4 技術レポートで言及されている LLM モデルの「能力予測」は、非常に貴重な新しい研究の方向性です (実際、以前にもいくつかの資料がありました)。読んだことは覚えていますが、具体的にどの本だったか思い出せません）。小規模なモデルを使用して、特定のパラメーターの組み合わせの下で大規模なモデルの特定の能力を予測します。予測が十分に正確であれば、エリクサーの精製サイクルを大幅に短縮し、試行錯誤のコストを大幅に削減できます。実用的な価値は間違いなくあります。特定の技術的手法を注意深く研究する価値があります。

第三に、GPT 4 は LLM 評価フレームワークをオープンソース化しました。これは、後の LLM テクノロジの急速な発展にとって非常に重要な方向性でもあります。特に中国語にとって、実用的な中国語 LLM 評価データとフレームワークを構築することは特に重要であり、優れた LLM 評価データは、LLM の現状の欠点と改善の方向性を迅速に発見することができ、非常に重要です。現在は基本的に空白です。このリソース要件は実際にはそれほど高くなく、多くの組織に適していますが、確かに大変な作業です。

GPT 4 技術レポートで明確に指摘されている 3 つの方向性に加えて、最近 LLM に関するニュースが多いため、他の 2 つの技術方向を書き留めておきます。

まず第一に、スタンフォード大学は Meta の 7B オープンソース LLaMA に基づいており、 Self Instruct 技術的構造 # を追加しています。 ## Alpaca は技術的な方向性も表しています。この方向性を要約すると「ChatGPTの低コスト再現」の方向性と言えるでしょう。いわゆる自己命令は、命令を手動でマークすることなく、特定の技術的手段を採用することです。代わりに、命令は OpenAI インターフェイスから抽出されます。これは、命令を「蒸留」することとしてよく知られています。つまり、人間によるマーキングは必要ありません。 , ChatGPT は教師として機能し、Instruct. 結果をマークします。これにより、指示マーキングのコストが直接ベンチマークの数百ドルになり、時間コストはさらに短くなります。また、Model 7Bは規模が大きくないため、「ChatGPTを低コストで再現する」という技術的なルートとも言えます。

中国の多くの人々がすでにこの技術的なルートを採用していると推測します。これが近道であることには間違いありませんが、近道をすることにはメリットとデメリットがあるので、詳しくは述べません。 ChatGPT に追いつく過程では、まずコストを下げて ChatGPT を 70 ～ 80% まで再現することが実現可能であり、支持できると個人的には考えています。もちろん、効果を犠牲にすることなく小型化を追求することは、現実的な方法で実行できれば非常に価値があります。

さらに、身体化された知能は、間違いなく次の段階での LLM の主要な研究方向となるでしょう。その代表格が、少し前にGoogleからリリースされた PaLM-E です。現在の GPT 4 では、人間がスーパーブレインを作成したものの、それを GPU クラスターにロックしたままであると考えることができます。そして、この超脳には肉体が必要です。GPT 4 は、物理世界に接続し、通信し、相互作用し、現実世界で生き残ることを学習するために物理世界で実際のフィードバックを取得し、強化学習などの現実世界のフィードバックを使用する必要があります。 . 世界中を移動する能力を学びに来てください。これは間違いなく、近い将来最もホットな LLM 研究の方向性となるでしょう。

マルチモーダル LLM は GPT 4 に目と耳を与え、身体化された知性は GPT 4 に体、足、手を与えます。 GPT 4 はあなたや私といくつかのつながりがあり、GPT 4 自体の強力な学習能力に依存して、このものはすぐに私たちの周りに現れると予想されます。

注意深く考えてみると、実際には他にも有望な方向性がたくさんあります。私の個人的な判断では、今後 5 ～ 10 年は AGI が最も急速に発展する黄金の 10 年になるでしょう。私たちが今後 30 年の時点に立って、この 10 年を振り返るとき、必ず次の詩を思い出す人もいるでしょう。 「優しくもありません。おやすみなさい。」

以上がOpenAI が GPT-4 をリリースしますが、注目に値する技術トレンドは何ですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。