案の定、昨日の OpenAI に勝てるのは今日の OpenAI だけです。
たった今、OpenAI は、画像とテキストの入力をサポートし、テキスト結果を生成する大規模マルチモーダル モデル GPT-4 を衝撃的にリリースしました。
史上最も先進的な AI システムとして知られています。
GPT-4 は、画像を理解する目を備えているだけでなく、GRE、広範囲にわたるすべての主要な試験でほぼ満点を達成しました。さまざまなベンチマークとパフォーマンス指標は圧倒的です。
OpenAI は、敵対的テスト手順と ChatGPT から学んだ教訓を使用して GPT-4 を繰り返し調整することに 6 か月を費やし、信頼性と制御性の点で優れた結果を達成しました。 ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃２ ２月初旬、マイクロソフトとグーグルが３日間にわたって激戦を繰り広げたことは今でも記憶に新しいところであり、マイクロソフトは２月８日にChatGPTをリリースした。当時、Bingはそれが「ChatGPTのような技術に基づいている」と述べた。
今日、その謎がついに解明されました - その背後にある大きなモデルは GPT-4 です!
チューリング賞の 3 人の巨人の 1 人であるジェフリー・ヒントンは、これに驚嘆しました、「毛虫が栄養を吸収した後」 、それは繭を蝶に変えます。そして人類は数十億の理解の金塊、GPT-4を抽出しました。それは人類の蝶です。」
ちなみに、ChatGPTさらに、ユーザーはすぐに始められるようになりました。
試験はほぼ満点を獲得し、成績は飛躍的に上昇しました
カジュアルな雰囲気で会話、GPT-3.5 と GPT-4 の違いは微妙です。タスクの複雑さが十分なしきい値に達した場合にのみ違いが現れ、GPT-4 は GPT-3.5 よりも信頼性が高く、創造性が高く、より微妙な指示を処理できます。
GPT-4 さまざまな試験の中で、ほぼ満点に近いテストがいくつかあります。
USABO Semifinal 2020 (米国)生物学オリンピック競技会）GRE Writing
さらに、OpenAI は、機械学習モデル用に設計された従来のベンチマークで GPT-4 を評価しました。実験結果から判断すると、GPT-4 は既存の大規模言語モデルやほとんどの SOTA モデルよりもはるかに優れています:
さらに、さまざまな言語での GPT-4 のパフォーマンスは次のとおりです。中国語の精度は約 80% で、すでに GPT-3.5 の英語のパフォーマンスを上回っています。
既存の ML ベンチマークの多くは英語で書かれています。 GPT-4 の機能を他の言語で初めて確認するために、研究者らは Azure Translate を使用して MMLU ベンチマーク (57 のトピックをカバーする 14,000 の多肢選択式質問のセット) を複数の言語に翻訳しました。
テストした 26 言語のうち 24 言語で、GPT-4 は英語のパフォーマンスにおいて GPT-3.5 および他の大規模言語モデル (チンチラ、PaLM) を上回りました。
OpenAI は、内部で GPT-4 を使用していると述べているため、コンテンツの生成、販売、そしてプログラミング。さらに、内部関係者はこれを人間による AI 出力の評価を支援するために使用します。
これに関して、リー フェイフェイの弟子であり、NVIDIA AI 科学者であるジム ファン氏は次のようにコメントしました。「GPT-4 の最も強力な点は、実際にはその推論能力です。GRE でのスコアは、 SAT やロースクールの試験は、人間の受験者とほとんど変わりません。言い換えれば、GPT-4 だけでスタンフォード大学に入学できるのです。」
(ジム ファン自身もスタンフォード大学を卒業しています) !)
ネチズン: もう終わりです。GPT-4 がリリースされたら、私たち人間はもう必要なくなります...
GPT-4 のこのアップグレードのハイライトは、もちろんマルチモダリティです。
GPT-4 は、グラフィック アイコンを分析して要約するだけでなく、ミームを読み取って、そのミームがどこにあるのか、なぜ面白いのかを説明することもできます。この意味では、多くの人間を瞬時に殺すことさえ可能です。
OpenAI は、GPT-4 は以前のモデルよりも創造的で協調的であると主張しています。曲の作曲、脚本の執筆、ユーザーのライティング スタイルの学習など、創造的で技術的な執筆タスクのためにユーザーを生成、編集、反復できます。
GPT-4 は、画像を入力として受け取り、キャプション、分類、分析を生成できます。たとえば、食材の写真を渡して、これらの食材を使って何ができるかを尋ねます。
さらに、GPT-4 はさらに多くの処理を実行できます。 25,000 ワードを超えるテキストがあり、長文のコンテンツの作成、拡張された会話、ドキュメントの検索と分析が可能です。
GPT-4 は、高度な推論機能において ChatGPT を上回っています。
たとえば、奇妙なミームの写真を見せて、その写真の何が面白いのかを尋ねます。
GPT-4 を取得すると、まず一連の画像の内容を分析し、次に答えを出します。
たとえば、次の画像を 1 枚ずつ分析してください。
GPT-4 はすぐに反応しました。写真の「照明用充電ケーブル」は大きなケーブルのように見えます。時代遅れの VGA です。この小型で最新のスマートフォンに接続されたインターフェースは、強いコントラストを持っています。
このようなミームを考えると、GPT-4 ミームはどこにあるのでしょうか?
それは流暢に答えました: このミームの面白いところは、「写真とテキストが一致していない」ということです。
本文には宇宙から撮影した地球の写真であると明記されていますが、実際にはチキンナゲットの束が地図のように並べられているだけです。
GPT-4 はまだ漫画を理解できます。なぜニューラル ネットワークにレイヤーを追加する必要があるのでしょうか?
##この漫画は、モデルのパフォーマンス向上における統計学習とニューラル ネットワークの違いを風刺しています。 。
案の定、GPT-4 には問題を解決するための手順が明確にリストされています——
1. ジョージア州カテゴリーにおける 1 日あたりの平均肉の量を決定します。消費。
2. 西アジアにおける 1 日の肉の平均消費量を調べます。
3. 手順 1 と 2 の値を追加します。
その後の問題解決のプロセスは、高いエネルギーに満ちています。
Boss Greg Brockman がオンラインで直接デモンストレーションを行い、このビデオを通じて GPT-4 の機能を直感的に感じることができます。
最も驚くべき点は、GPT-4 にはコードを理解し、コードの生成を支援する強力な機能があることです。
Greg は紙に直接図を走り書きし、写真を撮り、GPT に送信して、このレイアウトに従って Web ページのコードを書いてくださいと言い、それを書きました。
ネチズンは直接言いました: GPT-4 カンファレンスでは、プログラマーを置き換える方法を段階的に教えてくれます。
#ちなみに、GPT-4 を使用して納税することもできます。ご存知のとおり、アメリカ人は毎年納税の申告に多くの時間とお金を費やしています。
以前の GPT モデルと同様、GPT-4 基本モデルのトレーニングでは公開インターネット データとデータを使用します。文書内の次の単語を予測する目的で OpenAI からライセンスを受けています。
データはインターネット ベースのコーパスであり、数学的問題に対する正解/不正解、弱い/強い推論、矛盾/一貫した記述が含まれており、膨大な数のイデオロギーやアイデアを表すのに十分です。 。
ユーザーが質問を促すと、基本モデルはさまざまな方法で応答できますが、その答えはユーザーの意図とはかけ離れたものになる可能性があります。
そこで、ユーザーの意図に合わせるために、OpenAI はヒューマン フィードバック (RLHF) に基づく強化学習を使用してモデルの動作を微調整しました。
ただし、モデルの能力は主に事前トレーニング プロセスから得られるようで、RLHF ではテストのスコアを向上させることはできません (積極的に強化しないと、実際にはテストのスコアが低下します)。
基本モデルは、質問に答える必要があることをプロジェクトに知らせる必要があるため、モデルのガイダンスは主にトレーニング後のプロセスから得られます。
GPT-4 モデルの主な焦点は、予測通りにスケーラブルな深層学習スタックを確立することです。 GPT-4 のような大規模なトレーニングの場合、モデル固有の広範なチューニングは現実的ではないためです。
したがって、OpenAI チームは、複数のスケールで予測可能な動作を実現するインフラストラクチャと最適化を開発しました。
このスケーラビリティを検証するために、研究者らは、同じコード ベース (トレーニング セットの一部ではない) で GPT-4 の最終損失を事前に正確に予測しました。による推論方法を用いますが、計算量は1/10000です。
#OpenAI は、トレーニング中に最適化されたメトリクスの損失を正確に予測できるようになりました。たとえば、1/1000 の計算量でモデルから推論し、HumanEval データ セットのサブセットの合格率を予測することに成功します。
##まだ予測が難しい能力もあります。たとえば、逆スケーリング コンテストでは、モデルの計算負荷が増加するにつれて悪化するメトリクスを見つけることを目的としており、後知恵無視タスクが勝者の 1 つでした。しかし、GPT-4 はこの傾向を逆転させます。
OpenAI は、将来を正確に予測できる機械学習機能が重要であると考えています。技術的セキュリティは極めて重要ですが、十分な注目が集まっていません。
現在、OpenAI は関連メソッドの開発により多くのエネルギーを投資し、業界に協力するよう呼びかけています。
貢献リストGPT-4のリリースと同時に、Open AIはGPT-4の組織構造と人員リストも公開しました。
すべて表示するには上下にスワイプします## 北京大学の陳宝泉教授は次のように述べています。
映画がどんなに優れていても、最後のクレジットを最初から最後まで見る人はいません。 Open AI のショーでは、このような珍しいアプローチも採用していません。最も読まれているだけでなく、じっくりと検討された「キャストメンバー」（寄稿者）リストとなることは間違いなく、大まかな部門構成に近い、寄稿者の詳細な分類が最大の魅力です。
この非常に「大胆な」開示は、実は広範囲にわたる重要性を持っており、オープン AI の背後にある核となる概念を反映しており、将来の進歩の方向性もある程度示しています。
以上がGPT-4の王者が戴冠！写真を読んだり、質問に答えたりするあなたの能力は素晴らしいです。スタンフォード大学に独学で入学できます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
