マルチモーダル大型モデルの最も包括的なレビューがここにあります。 7 人のマイクロソフト研究者が精力的に協力、5 つの主要テーマ、119 ページの文書

マルチモーダル大型モデル 最も完全なレビューはここにあります!

Microsoft の 7 人の中国人研究者によって執筆されました 、 は 119 ページです——

から始まりますこれまでに改良を重ねてきた と という 2 種類のマルチモーダル大型モデルの研究方向性を出発点として、現在も最前線にある 5 つの具体的な研究テーマを包括的にまとめています。

視覚的な理解

• ビジュアル生成
• 統合ビジュアル モデル
• LLM サポートのマルチモーダル大規模モデル
• マルチモーダル エージェント

そして 1 つの現象に焦点を当てます:

マルチモーダル基本モデルは特殊なものから

普遍的なモデルに移行しました。

Ps. 著者が論文の冒頭に

ドラえもん

のイメージを直接描いたのはこのためです。

このレビューを読むのに適した人は誰ですか(レポート)

?

マイクロソフトの原文:

プロの研究者でも学生でも、マルチモーダル基本モデルの基礎知識と最新の進歩を学ぶことに興味がある限り。 、このコンテンツはあなたにぴったりです。

見てみましょう~

マルチモーダル大規模モデルの現状を知るための 1 つの記事

最初の 2 つこれら 5 つの特定のトピックのうち、現在成熟したフィールドは多く、最後の 3 つは最先端のフィールドに属します

1. 視覚的な理解

このパートの中心的な問題は、事前トレーニングを行う方法です。強力な画像理解バックボーン。

下の図に示すように、モデルのトレーニングに使用されるさまざまな監視信号に応じて、方法を 3 つのカテゴリに分類できます:

ラベル監視、言語監視

(CLIP で代表)

と画像のみの自己監修。
最後のものは、監視信号が画像自体からマイニングされることを示します。一般的な方法には、コントラスト学習、非コントラスト学習、マスクされた画像モデリングなどがあります。

これらの方法に加えて、この記事では、マルチモーダル融合、領域レベル、ピクセルレベルの画像理解などのカテゴリの事前トレーニング方法についてさらに説明します

上記各手法の代表的な作品も列挙します。

2. ビジュアル生成

このトピックは AIGC の中核であり、画像生成に限定されず、ビデオ、3D 点群、等

そして、その有用性はアート、デザイン、その他の分野に限定されません。トレーニング データの合成にも非常に役立ち、マルチモーダル コンテンツの理解と生成の閉ループを達成するのに直接役立ちます。

このパートでは、人間の意図と厳密に一致する効果を生成する重要性とその方法に焦点を当てます

(画像生成に焦点を当てます)

。

具体的には、空間制御可能な生成、テキストベースの再編集、テキストプロンプトへの追従性の向上、生成コンセプトのカスタマイズ (コンセプトのカスタマイズ)

の 4 つの側面から始まります。

このセクションの最後で、著者らは現在の研究傾向と今後の研究の方向性についても意見を共有しています。

人間の順序をより良く守るために上記の 4 つの方向をより柔軟で置き換え可能にするために、一般的なテキスト生成モデルを開発する必要があります。

4 つの方向のそれぞれの代表的な作品を以下にリストします。

3. 統合ビジョン モデル

このパートでは、統合ビジョン モデルを構築する際に直面する課題について説明します:

書き直す必要がある内容は次のとおりです: まず、入力タイプが異なります。 ;

書き直す必要があるのは次のとおりです: 第 2 に、タスクごとに異なる粒度が必要であり、出力にも異なる形式が必要です;

データはモデリングに加えて課題にも直面しています

たとえば、さまざまなタイプのラベル注釈のコストは大きく異なり、収集コストはテキスト データのコストよりもはるかに高く、その結果、通常、ビジュアル データの規模はテキスト コーパスの規模よりもはるかに小さくなります。

しかし、多くの課題にもかかわらず、著者は次のように指摘しています:

CV 分野では、ユニバーサルで統一されたビジョン システムの開発にますます関心が高まっており、3 つの傾向が現れています。

1 つ目は、クローズドセット (クローズドセット) からオープンセット (オープンセット) で、テキストとビジュアルをより適切に組み合わせることができます。マッチ。

特定のタスクから一般的な機能に移行する最も重要な理由は、新しいタスクごとに新しいモデルを開発するコストが高すぎることです。

3 つ目は、静的モデルから一般的な機能への移行です。プロンプト可能なモデルである LLM は、さまざまな言語と文脈上の手がかりを入力として受け取り、微調整することなくユーザーが望む出力を生成できます。私たちが構築したい一般的なビジョン モデルには、同じ状況に応じた学習機能が必要です。

4. LLM でサポートされるマルチモーダル大規模モデル

このセクションでは、マルチモーダル大規模モデルについて包括的に説明します。

まず、背景と代表的な例を徹底的に調査し、OpenAI のマルチモーダルな研究の進捗状況について議論し、この分野における既存の研究のギャップを特定します。

次に、著者は大規模な言語モデルにおける命令の微調整の重要性を詳細に検討します。

次に、著者は、マルチモーダル大規模モデルにおける命令の微調整について、原理、重要性、応用を含めて説明します。

最後に、より深く理解するために、マルチモーダル モデルの分野におけるいくつかの高度なトピックについても取り上げます。

視覚や言語を超えたさらなるモダリティ、マルチモーダルの最先端のコンテキスト学習、効率的なパラメータトレーニング、ベンチマーク。

5. マルチモーダル エージェント

いわゆるマルチモーダル エージェントは、さまざまなマルチモーダルの専門家を LLM に接続して、複雑なマルチモーダルの理解問題を解決する方法です。

このパートでは、著者は主にこのモデルの変換をレビューし、この方法と従来の方法の基本的な違いを要約します。

MM-REACT を例として、この方法がどのように機能するかを詳しく紹介します

マルチモーダル エージェントの構築方法とマルチモーダルにおけるその役割に関する包括的なアプローチをさらに要約します 新しい能力理解の中で。同時に、最新かつ最高の LLM や潜在的に数百万のツールなど、この機能を簡単に拡張する方法についても説明します。

そしてもちろん、最後には、次のような高度なトピックについても説明します。マルチモーダルエージェントやそれを用いて構築された各種アプリケーションなどの改善・評価

著者の紹介

このレポートには 7 人の著者が参加します

このレポートの発起人および全体的な人物担当は李春源です。

彼はマイクロソフト レドモンドの主任研究員であり、デューク大学で博士号を取得しており、最近の研究対象には CV と NLP の大規模な事前トレーニングが含まれます。

彼は、冒頭の導入部分、最後の要約、および「LLM を使用してトレーニングされたマルチモーダル大規模モデル」の章の執筆を担当しました。 書き直された内容: 彼は、記事の最初と最後、および「LLM を使用してトレーニングされたマルチモーダル大規模モデル」に関する章の執筆を担当しました。

# #コア著者は 4 人です:

• Zhe Gan

現在、彼は Apple AI/ML に参加し、主要なスケール ビジョンとマルチモーダルベースモデルの研究。以前は Microsoft Azure AI の主任研究者であり、北京大学で学士号と修士号を取得し、デューク大学で博士号を取得しています。

• Zhengyuan Yang

彼はマイクロソフトの上級研究員で、ロチェスター大学を卒業し、ACM SIGMM 優秀博士賞およびその他の栄誉を受賞しています。中国科学技術大学で学部生として学びました

• Jianwei Yang

Microsoft Research Redmond の深層学習グループの主任研究員。ジョージア工科大学で博士号を取得。

• Linjie Li(女性)

マイクロソフト クラウド & AI コンピューター ビジョン グループの研究員、修士号を取得して卒業パデュー大学で学位を取得。

彼らはそれぞれ、残りの 4 つのテーマ別章の執筆を担当しました。

概要アドレス: https://arxiv.org/abs/2309.10020

以上がマルチモーダル大型モデルの最も包括的なレビューがここにあります。 7 人のマイクロソフト研究者が精力的に協力、5 つの主要テーマ、119 ページの文書の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。