エージェントは人間のように仕事を分担して連携し、「グループチャット」を通じて情報交換も可能

インテリジェントエージェントには「仕様書」も必要！

MetaGPT と呼ばれる研究では、エージェントの役割を明確に分割し、複数のエージェントが連携して統一された標準化された「通信形式」を採用することを要求することで、エージェントのパフォーマンスを大幅に向上させることができます。 。

現在、この研究は GitHub で 33,600 個のスターを獲得しており、トップの深層学習カンファレンスである ICLR 2024 で口頭論文として取り上げられました。

一般に、MetaGPT は人間の分業とコラボレーションを模倣し、さまざまなタスクの

標準操作手順 をインテリジェント エージェントの「標準」にエンコードします。 .マニュアル」では、さまざまな役割を持つエージェントがさまざまな専門的タスクを担当します。

たとえば、プロダクト マネージャーの役​​割はネットワーク検索ツールを使用でき、エンジニアの役割はコードを実行できます。

このようにして、マルチエージェントのコラボレーションが実現します。タスクを完了します。

研究者たちはエージェントのために「メッセージ共有グループ」を設立し、エージェントは他のエージェントから送信された関連メッセージを自由に閲覧できるようになりました。

この方法を使用してテストした後、MetaGPT はコード補完タスクの公開データ セット HumanEval と MBPP でそれぞれ 85.9% と 87.7% の新しい SOTA を達成しました。

現在、この研究はオープンソース化されており、インターネット上の多くのネチズンの注目を集めています:

MetaGPT はどのようなものですか?

この研究は、DeepWisdom チームと、KAUST AI センター、アモイ大学、CUHK

(SZ)、南京大学、UPenn、UCB、およびその他多くの大学や機関の学者によって共同提案されました。

# 大規模モデルの機能が向上し続けるにつれて、学界や産業界では大規模モデルベースのエージェントを使用してさまざまなタスクを解決することに関心が高まっています。

複数のエージェントを使用して協力して特定の分野の問題を解決する研究はまだ初期段階にあることは注目に値します。既存の研究は主に、ロールプレイングのメカニズムと通信トポロジの設定を通じて、タスクの理解と推論による意思決定能力を強化することに焦点を当てています。ある程度の進歩はあるものの、これらの方法は依然として直接対話形式に依存しており、標準仕様やエージェントの動作に関する制約が不足しています。

最近の研究では、対話に基づくマルチエージェント システムが情報の不一致、曖昧さ、無効な繰り返しや無限ループの可能性などの問題に直面する可能性があることも指摘されています。

対照的に、ヒューマン ワークフローの標準操作手順

(SOP) は、参加するロールの分業とトポロジを明確に定義するだけでなく、ロールの出力結果の標準仕様も確立します。

研究によると、明確に定義された SOP により、タスク実行の一貫性と精度が向上し、最終結果が指定された品質基準を確実に満たすことができることがわかっています。したがって、マルチエージェントのコラボレーションにおける課題を解決するために、研究者たちは大規模なモデルベースのエージェント メタプログラミング フレームワーク MetaGPT を設計しました。

MetaGPT では、エージェントが専門家としてコラボレーションに参加し、必要に応じて高品質の要件文書、アーキテクチャ設計図、フローチャートなどの構造化された出力を生成する必要があります。

構造化された出力は、単一エージェントの上位レベルの思考チェーン

(思考連鎖) と、下流の役割に対する明確なセマンティクスと明確な目標を備えたコンテキストです(コンテクスト）＃＃＃。 MetaGPT のフレームワークにおいて、研究者は SOP の概念を役割の特化、通信プロトコル設計、反復実行可能フィードバック設計に合わせて調整しました。

役割の専門化

役割を明確に定義することで、複雑な作業をより小さく、より具体的なタスクに分割できます。

下の図に示すように、さまざまな専門的役割が、さまざまな目標と制約、およびさまざまな専門スキルで初期化されます。たとえば、プロダクト マネージャーのロールは Web 検索ツールを使用でき、エンジニアのロールはコードを実行できます。同時に、各キャラクターはデフォルトで ReAct の動作パターンに従います。

#役割の特化により、各エージェントはそのドメイン内の特定のタスクに集中できるため、大規模なモデルの出力品質が向上します。

ソフトウェア開発では、役割の流れを通じて、この分業により自然言語からプログラミング言語への調整がより巧みに完了します。論文内の文字アブレーション実験は、この部分の効果をさらに証明しています。

通信プロトコルの設計

実際のアプリケーションでは、自然言語には豊富なセマンティクスがありますが、その非構造化特性により、情報はメッセージ送信プロセス中に歪められたり、さらには歪められたりすることがよくあります。 。

この問題を解決するために、作成者はエージェントが構造化された出力 (文書や図表を含む) と共同で参加するように制約し、情報の明確さと完全性を向上させました。この設計を検証するために、著者らは、生成されたコードの実行可能性と生産性指標を通じて、共同で構造化された出力の重要性を強調するさまざまなソフトウェア開発タスクを設計しました。

マルチエージェントコラボレーション時の通信効率を向上させるために、MetaGPT はメッセージ共有に基づくパブリッシュ/サブスクライブメカニズムを導入します(パブリッシュ-サブスクライブメカニズム) 。

上の図に示すように、共有メッセージ プールを使用すると、メッセージを直接交換できるため、どのエージェントも、質問したり応答を待つことなく、他のエージェントからのメッセージに透過的にアクセスできます。サブスクリプション メカニズムにより、エージェントは自分のタスクに関連する情報を受け取りやすくなり、無関係な詳細に気を取られるのを避けることができます。同時に、各エージェントは共有メッセージ プールから必要な情報を直接取得して自己記憶を形成できます。

実行可能なフィードバック

インテリジェント エージェントは、インテリジェント エージェントの自律的な意識の現れである環境フィードバックに基づいて自己最適化し、積極的に更新します。

ソフトウェア開発タスクに関して、MetaGPT は、エンジニアのエージェントがコードの品質を自動的に最適化するための実行可能なフィードバック メカニズムを設計しました。

具体的には、エンジニアは対応する単体テスト ケースを作成して実行し、観察された実行結果を通じて再帰的に意思決定と自己プロンプトを行い、自動デバッグを実現します。この設計、テスト、フィードバックの反復プロセスは、単体テストが合格するか、最大再試行回数に達するまで継続されます。

複数のベンチマークで新しい SOTA をテスト

コード生成機能に関して、研究者は 2 つの公開ベンチマーク データ セット、HumanEval と MBPP を使用し、Pass@1 指標を報告しました。

さらに、70 の典型的なソフトウェア開発タスク (ミニゲーム、データ視覚化、画像処理など) をカバーする SoftwareDev データセットも収集し、複数のエージェントをオープンにしました。出典 フレームワークの比較、統計分析、および複数のソフトウェア開発タスクの実行可能性と生産効率の定性的説明。

以下の図に示すように、MetaGPT は HumanEval ベンチマークと MBPP ベンチマークの両方で以前の方法を上回り、それぞれ 85.9% と 87.7% に達しました。 GPT-4 の結果と比較すると、MetaGPT は HumanEval データセットで 28.2% の相対的な改善があり、実行可能なフィードバック メカニズムの追加により、HumanEval と MBPP でそれぞれ 4.2% と 5.4% 改善されました。

困難な SoftwareDev データセットでは、MetaGPT は 4 に非常に近い 3.75 の実行可能性スコアを達成しましたが、必要な実行時間は短縮されました(503 秒) ; 生成されるコード行数は、ベースライン フレームワークと比較して 2.24 倍に増加しましたが、コードの単位行ごとに消費されるトークンの数は 50% 減少しました。

これらの結果は、マルチエージェントのコラボレーション中に SOP によってもたらされる効率の向上を強調しています。

MetaGPT の高い実行可能性とソフトウェア開発タスクにおける比較的短い実行時間は、現実世界のアプリケーションでの実用性と効率性を実証します。

ソフトウェア開発の分野に焦点を当て、研究者はさまざまなエージェント フレームワークの機能の定性的な比較を提供します。

彼らは、MetaGPT が複数のモードでファイルを生成する機能を備えているだけでなく、現在の多くのフレームワークの中で、現実世界のソフトウェア開発プロセスを完全にカバーする唯一のオープンソース フレームワークでもあることを発見しました。

一般に、MetaGPT は、メタプログラミングのアイデアを組み合わせ、SOP を埋め込んで、マルチエージェントのコラボレーションにおける大規模モデルの機能を強化する、新しいマルチエージェント フレームワークです。

役割の特化、ワークフロー管理、柔軟なメッセージング メカニズムにより、高い汎用性と移植性を備えたマルチエージェント フレームワークになります。

MetaGPT は反復フィードバック メカニズムと組み合わせることで、複数のベンチマーク テストで SOTA パフォーマンスを達成しました。

SOP と人間の社会的実践を組み合わせたものは、マルチエージェント社会の将来の研究と探求を刺激し、大規模なモデルに基づいてマルチエージェントの枠組みを規制する初期の試みとみなすこともできます。

論文リンク: https://arxiv.org/abs/2308.00352
コードリンク: https://github.com/geekan/MetaGPT