メタは GPT-4o に挑戦するために「カメレオン」を立ち上げ、34B パラメータがマルチモーダル革命をリードします! 10兆トークントレーニングがSOTAを更新-AI-php.cn

GPT-4o の出現により、マルチモーダルモデル開発の新しいパラダイムが再び生まれました。

なぜそんなことを言うのですか？

OpenAI はこれを「最初の「ネイティブ」マルチモーダル」モデルと呼んでいます。これは、GPT-4o が以前のすべてのモデルとは異なることを意味します。

メタは GPT-4o に挑戦するために「カメレオン」を立ち上げ、34B パラメータがマルチモーダル革命をリードします! 10兆トークントレーニングがSOTAを更新

従来のマルチモーダル基本モデルは通常、各モダリティに特定の「エンコーダー」または「デコーダー」を使用して、異なるモダリティを分離します。

ただし、このアプローチでは、クロスモーダル情報を効果的に融合するモデルの能力が制限されます。

GPT-4o は、テキスト、ビジュアル、オーディオモードにまたがる「初のエンドツーエンド」トレーニングモデルであり、すべての入力と出力が単一のニューラルネットワークによって処理されます。

そして、GPT-4oに果敢に挑戦した業界初のモデルが登場しました！

最近、メタチームの研究者は「混合モーダルベースモデル」 - カメレオンをリリースしました。

論文アドレス: https://arxiv.org/pdf/2405.09818

GPT-4o と同様に、Chameleon は統合された Transformer アーキテクチャを採用し、テキスト、画像、コードの混合モダリティを使用してトレーニングを完了します。

テキスト生成と同様の方法で、画像は個別に「トークン化」(トークン化)され、最終的にインターリーブされたテキストと画像シーケンスを生成および推論します。

この「早期融合」アプローチでは、すべてのパイプラインが最初から共通の表現空間にマッピングされるため、モデルはテキストと画像をシームレスに処理できます。

Chameleon によって生成されたマルチモーダルコンテンツ

同時に、このような設計はモデルのトレーニングに重大な技術的課題をもたらします。

これに関して、メタ研究チームは一連のアーキテクチャ上の革新とトレーニングテクノロジーを導入しました。

結果は、プレーンテキストタスクにおいて、340 億パラメータの Chameleon (10 兆のマルチモーダルトークンでトレーニングされた) のパフォーマンスが Gemini-Pro と同等であることを示しています。

視覚的な質問応答と画像注釈のベンチマークに関する SOTA を更新すると、パフォーマンスは GPT-4V に近くなります。

ただし、GPT-4o と Chameleon はどちらも、新世代の「ネイティブ」エンドツーエンドのマルチモーダル基本モデルの初期の探求です。

GTC 2024 カンファレンスで、Lao Huang 氏は、AGI の究極のビジョン、つまりさまざまなモードの相互運用性に向けた重要な一歩について説明しました。

次のオープンソース GPT-4o は登場しますか?

Chameleon のリリースは、単に GPT-4o への最速の対応です。

一部のネチズンは、トークンが入ってトークンが出ていくが、それはまったく説明が不可能だと言いました。

GPT-4o の誕生後に発表された非常に堅実な研究に OOS が追いつくだろうと主張する人さえいます。

ただし、現在、Chameleon モデルは生成されたモダリティ、主に画像テキストをサポートしています。 GPT-4o には音声機能がありません。

ネチズンは、別のモダリティ (オーディオ) を追加し、トレーニングデータセットを拡張し、しばらく「クック」すれば、GPT-4o が得られるでしょう...?

Meta "I 「このチームをサポートできることを非常に誇りに思います。GPT-4o をオープンソースコミュニティに近づけるための一歩を踏み出しましょう」と GPT-4o の製品管理ディレクターは述べました。

GPT-4o のオープンソースバージョンが入手できるまで、そう長くはかからないかもしれません。

次に、Chameleon モデルの技術的な詳細を見てみましょう。

技術アーキテクチャ

メタはChameleonの論文で最初に述べられています：新しくリリースされたモデルの多くはまだ「マルチモダリティ」を最後まで実装していません。

これらのモデルはエンドツーエンドのトレーニング方法を採用していますが、それでも個別のエンコーダーまたはデコーダーを使用して、異なるモダリティを個別にモデル化します。

冒頭で述べたように、このアプローチでは、クロスモーダル情報をキャプチャするモデルの機能が制限され、あらゆる形式の情報を含む真のマルチモーダルドキュメントを生成することが困難になります。

この欠点を改善するために、Meta は、テキストと画像コンテンツが任意に絡み合ったコンテンツを生成できる、一連の「混合モーダル」基本モデル Chameleon を提案しました。

Chameleon が生成した結果、テキスト、画像はインターレースで表示されます

いわゆる「混合モーダル」基本モデルは、Chameleon がエンドツーエンドのアプローチを使用してゼロからトレーニングするだけでなく、トレーニング中にすべてのモデルを結合します。状態情報は相互に絡み合って混合され、統一されたアーキテクチャを使用して処理されます。

すべてのモダリティからの情報を混合し、それを同じモデルアーキテクチャで表現するにはどうすればよいですか?

答えはやはり「トークン」です。

すべてがトークンとして表現されている限り、すべてのモダリティのすべての情報を同じベクトル空間にマッピングできるため、Transformer はそれをシームレスに処理できます。

ただし、このアプローチは、最適化の安定性とモデルのスケーラビリティの点で技術的な課題をもたらします。

これらの問題を解決するために、この論文ではそれに応じてモデルアーキテクチャを革新し、QK 正規化や Zloss などのいくつかのトレーニング手法を使用しています。

同時に、この論文では、プレーンテキスト LLM をマルチモーダルモデルに微調整する方法も提案しています。

画像「トークナイザー」

すべてのモダリティをトークンとして表現するには、まず強力なトークナイザーが必要です。

この目的のために、Chameleon のチームは、Meta の以前の論文に基づいて、サイズ 8192 のコードブックに基づいて、512×512 の仕様を持つ画像を 1024 個の個別のトークンにエンコードする新しい画像セグメンターを開発しました。

テキストトークナイザーは、Googleが開発したセンテンスピースオープンソースライブラリに基づいており、65536個のテキストトークンと8192個の画像トークンを含むBPEトークナイザーがトレーニングされています。

事前トレーニング

「混合モダリティ」の可能性を十分に刺激するために、トレーニングデータも分割され、さまざまなモダリティと混合され、純粋なテキスト、テキスト画像などのモデルに提示されます。ペア、およびテキスト、インターレース画像を含むマルチモーダルドキュメント。

プレーンテキストデータには、Llama 2 と CodeLlama で使用されるすべての事前トレーニングデータが含まれており、合計 2.9 兆トークンになります。

テキストと画像のペアには公開データが含まれており、合計で 14 億のペアと 1 兆 5,000 億のトークンになります。

テキストと画像の絡み合ったデータについて、論文はメタ製品からのデータが含まれておらず、完全に公開データソースを使用し、合計4000億のトークンを分類していることを特に強調しています。

カメレオンの事前トレーニングは 2 つの個別の段階で実施され、それぞれ全体のトレーニング比率の 80% と 20% を占めます。

トレーニングの第 1 段階では、教師なしの方法でモデルに上記のデータを学習させます。第 2 段階の開始時に、第 1 段階で取得した重みを 50% 削減し、より高品質のデータを混合します。学び続けるためのモデル。

モデルが 8B パラメーターと 1T トークンを超えるように拡張されると、トレーニングの後半段階で明らかな不安定性の問題が発生します。

すべてのモダリティがモデルの重みを共有しているため、各モダリティはノルムを増加させ、他のモダリティと「競合」する傾向があるようです。

訓練の初期段階ではあまり問題になりませんが、訓練が進みデータがbf16の表現範囲を超えると損失発散という現象が起こります。

研究者らは、これがソフトマックス関数の変換不変性によるものであると考えており、この現象は単一モーダルモデルでは「ロジットドリフト」とも呼ばれます。

したがって、この論文では、安定性を確保するためのいくつかのアーキテクチャ調整と最適化方法を提案しています:

-QK 正規化 (クエリキー正規化): アテンションモジュールのクエリおよびキーベクトルにレイヤーノルムを適用し、それによって直接制御します。ソフトマックス層入力のノルム成長。

-アテンション層とフィードフォワード層の後にドロップアウトを導入

-損失関数でZloss正則化を使用

データソースとアーキテクチャに加えて、この論文では、事前のトレーニング方法計算能力の規模。

ハードウェアモデルは 80GB メモリを搭載した NVIDIA A100 で、7B バージョンは 1024 個の GPU を並列に使用して約 860,000 GPU 時間学習しました。34B モデルで使用される GPU の数は 3 倍に拡張され、GPU 時間数も増加しました。 428万人を突破しました。

かつて Llama 2 をオープンソース化した企業として、Meta の研究チームは本当に寛大です。技術レポートすらない GPT-4o と比較して、この論文にはデータと有益な情報が含まれています。「最も寛大」と評される。

Llama 2を総合的に上回る

具体的な実験評価では、研究者らは手動評価、セキュリティテスト、ベースライン評価に分けて評価を行った。

ベンチマーク評価

Chameleon-34B は、トレーニングに Llama 2 の 4 倍のトークンを使用し、さまざまなシングルモーダルベンチマークテストで驚くべき結果を達成しました。

テキストのみのタスク生成において、研究者らは、事前トレーニングされた (非 SFT) モデルのテキストのみの機能を他の主要なテキストのみの LLM と比較しました。

評価内容には、常識的推論、読解、数学的問題、世界知識の領域が含まれます。評価結果は以下の表に示されています。

- 常識的な推論と読解

Llama 2 と比較して、Chameleon-7B と Chameleon-34B の競争力が高いことがわかります。実際、34B は 5/8 タスクで Llama-2 70B をさえ上回り、そのパフォーマンスは Mixtral-8x7B と同等でした。

- 数学と世界の知識

他のモダリティでトレーニングされたにもかかわらず、両方のカメレオンモデルは強力な数学的能力を示しました。

GSM8k では、Chameleon-7B は、対応するパラメータースケールの Llama 2 モデルよりも優れたパフォーマンスを示し、そのパフォーマンスは Mistral-7B と同等です。

さらに、Chameleon-34B は、maj@1 で Llama 2-70B (61.4 対 56.8)、maj@32 で Mixtral-8x7B (77.0 対 75.1) よりも優れたパフォーマンスを示します。

同様に、数学演算では、Chameleon-7B は Llama 2 を上回り、maj@4 では Mistral-7B と同等のパフォーマンスを示しますが、Chameleon-34B は Llama 2-70B を上回り、maj@4 のパフォーマンスでは Mixtral-8x7B に近づきます。 maj@4 (24.7 対 28.4)。

全体的に、Chameleon のパフォーマンスはあらゆる面で Llama 2 を上回り、一部のタスクでは Mistral-7B/8x7B に近いです。

テキストから画像へのタスクでは、研究者は視覚的な質問応答と画像の注釈という 2 つの特定のタスクを具体的に評価しました。

Chameleon は、視覚的な質問応答や画像注釈タスクで Flamingo や Llava-1.5 などのモデルを破り、SOTA になりました。また、プレーンテキストタスクでも、Mixtral 8x7B や Gemini Pro などの第一層モデルと同等のパフォーマンスを発揮しました。

人間による評価とセキュリティテスト

同時に、モデルによって生成されたマルチモーダルコンテンツの品質をさらに評価するために、論文では、モデルによって生成されたマルチモーダルコンテンツの品質をさらに評価するために、実験に加えて人間による評価実験も導入されました。ベンチマークテストの結果、Chameleon-34B のパフォーマンスが Gemini Pro や GPT-4V よりもはるかに優れていることがわかりました。

GPT-4V と Gemini Pro と比較して、人間の審査員はそれぞれ 51.6% と 60.4 の選好率を獲得しました。

下の図は、ヒューマン・アノテーターからの多様なプロンプトのコンテンツを理解して生成する際の、Chameleon モデルとベースラインモデルのパフォーマンスの比較を示しています。