強力な基本エンジン CoDi-2 によるあらゆるテキスト、ビジュアル、オーディオ混合生成、マルチモーダル

マルチモーダル生成の基礎は MLLM

彼らは次に、MLLM をトレーニングして条件付き特徴 c = C_y (y) を生成し、それを拡散モデルに入力してターゲット出力 x を合成することを提案しました。このように、拡散モデルの生成損失を使用して MLLM をトレーニングします。

タスク タイプ

モデルは、次のタスク タイプの例でその威力を実証します。これらのタスク タイプは、モデルにコンテキストの生成または変換を促す独自の方法を提供します。のコンテンツ (テキスト、画像、オーディオ、ビデオ、およびそれらの組み合わせを含む)

書き換えられたコンテンツは次のとおりです。 1. ゼロサンプル推論。ゼロショット推論タスクでは、前の例を使用せずに、モデルが推論して新しいコンテンツを生成する必要があります。

2. 1 回限り/少数のサンプル プロンプト。 1 つまたはいくつかのサンプル プロンプトにより、同様のタスクを実行する前に学習できる 1 つまたはいくつかの例がモデルに提供されます。このアプローチは、モデルが学習した概念をある画像から別の画像に適用したり、提供された例で説明されているスタイルを理解して新しいアートワークを作成したりするタスクで明らかです。

実験と結果

モデル設定

この記事のモデルの実装は、Llama2、特に Llama に基づいています。 -2-7b-チャット-HF。研究者らは、画像、ビデオ、オーディオ、テキスト、深度、熱および IMU モードのエンコーダを調整した ImageBind を使用しました。 ImageBind を使用して画像と音声の特徴をエンコードし、それらを多層パーセプトロン (MLP) を通じて LLM (Llama-2-7b-chat-hf) の入力次元に投影します。 MLP は、線形マッピング、アクティベーション、正規化、および別の線形マッピングで構成されます。 LLM は、画像または音声の特徴を生成すると、それらを別の MLP を通じて ImageBind の特徴次元に投影し直します。この記事の画像拡散モデルは、StableDiffusion2.1 (stabilityai/stable-diffusion-2-1-unclip)、AudioLDM2、zeroscope v2 に基づいています。

より忠実なオリジナルの入力画像または音声を取得するために、研究者はそれらを拡散モデルに入力し、拡散ノイズを連結することによって特徴を生成します。この方法は非常に効果的で、入力コンテンツの知覚特性を最大限に保持し、新しいコンテンツを追加したり、スタイルやその他の指示を変更したりできます。画像生成の評価

##次の図は、Dreambench でのトピック駆動型画像生成の評価結果と MSCOCO での FID スコアを示しています。この論文の手法は、非常に競争力の高いゼロショット パフォーマンスを実現し、未知の新しいタスクに対する汎用化能力を実証しています。

技術的な詳細については、元の記事をお読みください。