インテリジェントエージェントには「仕様書」も必要！
MetaGPT と呼ばれる研究では、エージェントの役割を明確に分割し、複数のエージェントが連携して統一された標準化された「通信形式」を採用することを要求することで、エージェントのパフォーマンスを大幅に向上させることができます。 。
現在、この研究は GitHub で 33,600 個のスターを獲得しており、トップの深層学習カンファレンスである ICLR 2024 で口頭論文として取り上げられました。
標準操作手順 をインテリジェント エージェントの「標準」にエンコードします。 .マニュアル」では、さまざまな役割を持つエージェントがさまざまな専門的タスクを担当します。
たとえば、プロダクト マネージャーの役割はネットワーク検索ツールを使用でき、エンジニアの役割はコードを実行できます。
この方法を使用してテストした後、MetaGPT はコード補完タスクの公開データ セット HumanEval と MBPP でそれぞれ 85.9% と 87.7% の新しい SOTA を達成しました。 現在、この研究はオープンソース化されており、インターネット上の多くのネチズンの注目を集めています:
(SZ)、南京大学、UPenn、UCB、およびその他多くの大学や機関の学者によって共同提案されました。
(SOP) は、参加するロールの分業とトポロジを明確に定義するだけでなく、ロールの出力結果の標準仕様も確立します。
研究によると、明確に定義された SOP により、タスク実行の一貫性と精度が向上し、最終結果が指定された品質基準を確実に満たすことができることがわかっています。したがって、マルチエージェントのコラボレーションにおける課題を解決するために、研究者たちは大規模なモデルベースのエージェント メタプログラミング フレームワーク MetaGPT を設計しました。 MetaGPT では、エージェントが専門家としてコラボレーションに参加し、必要に応じて高品質の要件文書、アーキテクチャ設計図、フローチャートなどの構造化された出力を生成する必要があります。 構造化された出力は、単一エージェントの上位レベルの思考チェーン(思考連鎖) と、下流の役割に対する明確なセマンティクスと明確な目標を備えたコンテキストです(コンテクスト）＃＃＃。 MetaGPT のフレームワークにおいて、研究者は SOP の概念を役割の特化、通信プロトコル設計、反復実行可能フィードバック設計に合わせて調整しました。
役割の専門化
下の図に示すように、さまざまな専門的役割が、さまざまな目標と制約、およびさまざまな専門スキルで初期化されます。たとえば、プロダクト マネージャーのロールは Web 検索ツールを使用でき、エンジニアのロールはコードを実行できます。同時に、各キャラクターはデフォルトで ReAct の動作パターンに従います。
#役割の特化により、各エージェントはそのドメイン内の特定のタスクに集中できるため、大規模なモデルの出力品質が向上します。
ソフトウェア開発では、役割の流れを通じて、この分業により自然言語からプログラミング言語への調整がより巧みに完了します。論文内の文字アブレーション実験は、この部分の効果をさらに証明しています。
通信プロトコルの設計
この問題を解決するために、作成者はエージェントが構造化された出力 (文書や図表を含む) と共同で参加するように制約し、情報の明確さと完全性を向上させました。この設計を検証するために、著者らは、生成されたコードの実行可能性と生産性指標を通じて、共同で構造化された出力の重要性を強調するさまざまなソフトウェア開発タスクを設計しました。
マルチエージェントコラボレーション時の通信効率を向上させるために、MetaGPT はメッセージ共有に基づくパブリッシュ/サブスクライブメカニズムを導入します(パブリッシュ-サブスクライブメカニズム) 。
上の図に示すように、共有メッセージ プールを使用すると、メッセージを直接交換できるため、どのエージェントも、質問したり応答を待つことなく、他のエージェントからのメッセージに透過的にアクセスできます。サブスクリプション メカニズムにより、エージェントは自分のタスクに関連する情報を受け取りやすくなり、無関係な詳細に気を取られるのを避けることができます。同時に、各エージェントは共有メッセージ プールから必要な情報を直接取得して自己記憶を形成できます。
インテリジェント エージェントは、インテリジェント エージェントの自律的な意識の現れである環境フィードバックに基づいて自己最適化し、積極的に更新します。
ソフトウェア開発タスクに関して、MetaGPT は、エンジニアのエージェントがコードの品質を自動的に最適化するための実行可能なフィードバック メカニズムを設計しました。
具体的には、エンジニアは対応する単体テスト ケースを作成して実行し、観察された実行結果を通じて再帰的に意思決定と自己プロンプトを行い、自動デバッグを実現します。この設計、テスト、フィードバックの反復プロセスは、単体テストが合格するか、最大再試行回数に達するまで継続されます。
コード生成機能に関して、研究者は 2 つの公開ベンチマーク データ セット、HumanEval と MBPP を使用し、Pass@1 指標を報告しました。
さらに、70 の典型的なソフトウェア開発タスク (ミニゲーム、データ視覚化、画像処理など) をカバーする SoftwareDev データセットも収集し、複数のエージェントをオープンにしました。出典 フレームワークの比較、統計分析、および複数のソフトウェア開発タスクの実行可能性と生産効率の定性的説明。
以下の図に示すように、MetaGPT は HumanEval ベンチマークと MBPP ベンチマークの両方で以前の方法を上回り、それぞれ 85.9% と 87.7% に達しました。 GPT-4 の結果と比較すると、MetaGPT は HumanEval データセットで 28.2% の相対的な改善があり、実行可能なフィードバック メカニズムの追加により、HumanEval と MBPP でそれぞれ 4.2% と 5.4% 改善されました。
困難な SoftwareDev データセットでは、MetaGPT は 4 に非常に近い 3.75 の実行可能性スコアを達成しましたが、必要な実行時間は短縮されました(503 秒) ; 生成されるコード行数は、ベースライン フレームワークと比較して 2.24 倍に増加しましたが、コードの単位行ごとに消費されるトークンの数は 50% 減少しました。
これらの結果は、マルチエージェントのコラボレーション中に SOP によってもたらされる効率の向上を強調しています。
MetaGPT の高い実行可能性とソフトウェア開発タスクにおける比較的短い実行時間は、現実世界のアプリケーションでの実用性と効率性を実証します。
ソフトウェア開発の分野に焦点を当て、研究者はさまざまなエージェント フレームワークの機能の定性的な比較を提供します。
彼らは、MetaGPT が複数のモードでファイルを生成する機能を備えているだけでなく、現在の多くのフレームワークの中で、現実世界のソフトウェア開発プロセスを完全にカバーする唯一のオープンソース フレームワークでもあることを発見しました。
一般に、MetaGPT は、メタプログラミングのアイデアを組み合わせ、SOP を埋め込んで、マルチエージェントのコラボレーションにおける大規模モデルの機能を強化する、新しいマルチエージェント フレームワークです。
役割の特化、ワークフロー管理、柔軟なメッセージング メカニズムにより、高い汎用性と移植性を備えたマルチエージェント フレームワークになります。
MetaGPT は反復フィードバック メカニズムと組み合わせることで、複数のベンチマーク テストで SOTA パフォーマンスを達成しました。
SOP と人間の社会的実践を組み合わせたものは、マルチエージェント社会の将来の研究と探求を刺激し、大規模なモデルに基づいてマルチエージェントの枠組みを規制する初期の試みとみなすこともできます。
論文リンク: https://arxiv.org/abs/2308.00352
コードリンク: https://github.com/geekan/MetaGPT
以上がエージェントは人間のように仕事を分担して連携し、「グループチャット」を通じて情報交換も可能の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
