よりスマートな AI の実現: 言語モデルで推論と動作を統合する ReAct テクノロジー

今日は、Google Research とプリンストン大学の研究者が共同研究した論文「REACT: Combining Reasoning and Behavior in Language Models」を紹介します。彼らは、言語モデルにおける推論と動作を組み合わせる可能性を模索しながら、この論文を発表しました。大規模言語モデル (LLM) の推論機能とアクション機能は別々に研究されてきましたが、これら 2 つの機能が 1 つのシステムに統合されたのは今回が初めてです。したがって、この論文は非常に重要だと思います。 ReAct フレームワークを使用すると、仮想エージェントが Web データベースや SQL データベースへの接続などのさまざまなツールを使用できるようになり、推論とアクションに事実上無制限の拡張性が提供されます。タスク指向のアクションと次のステップに関する推論のシームレスな組み合わせ。この能力により、私たちは新しいタスクを迅速に学習し、信頼できる意思決定を下せるだけでなく、予期せぬ状況に適応することができます。 ReAct の目標は、言語モデルでこの相乗効果を再現し、推論ステップとタスク固有のアクションを交互に生成できるようにすることです

#ReAct の仕組み

#ReAct は、大規模な言語モデルに、特定のタスクに対する口頭推論の履歴ステップとアクションを生成するよう促します。これらのプロンプトは、モデルの思考とアクション生成をガイドする少数のコンテキスト例で構成されています。状況に応じた例を下の図に示します。これらの例は、アイデアを生成し、アクションを実行し、アクションの結果を観察するという循環プロセスを通じてエージェントをガイドします。 ReAct では、推論トレースとアクションを組み合わせることで、モデルが動的推論を実行できるようになり、高レベルの計画を生成したり、外部環境と対話して追加情報を収集したりできます

アプリケーションと結果

研究者らは、質問応答、事実検証、テキストベースのゲーム、Web ページなど、さまざまな言語推論や意思決定タスクに ReAct を適用しました。ナビゲーション。結果は傑出しており、ReAct は解釈可能性と信頼性の点で他の最先端のベースラインを常に上回っています

質問応答や事実確認タスクにおいて、ReAct はインタラクションを活用し、問題をうまく克服しています推論における一般的な幻覚と誤り伝播の問題。人間がタスクを解決する方法と同様のステップが生成され、推論の痕跡がないベースライン モデルよりも解釈が容易です。インタラクティブな意思決定ベンチマークでは、ReAct は、推論、アクション、観察のステップが絡み合っているにもかかわらず、1 つまたは 2 つのコンテキスト例

だけでも、模倣学習および強化学習手法を大幅に上回り、信頼性を向上させます。しかし、この構造は推論ステップの柔軟性も制限するため、一部のタスクでは思考連鎖プロンプトよりも推論エラー率が高くなります。

推論とアクションの重要性

研究者らは、さまざまなタスクにおける推論と行動の重要性を理解するために、アブレーション実験も実施しました。彼らは、ReAct の内部推論と外部動作を組み合わせると、推論やアクションのみに焦点を当てたベースラインよりも一貫してパフォーマンスが優れていることを発見しました。これは、より効果的な意思決定のために 2 つのプロセスを統合することの価値を強調しています

今後の方向性

ReAct は良好な結果を達成しましたが、まだ改善の余地があります。研究者らは、より多くのタスクをトレーニングおよび操作できるように ReAct をスケールアップし、強化学習などの補完的なパラダイムと組み合わせることを推奨しています。さらに、人間が注釈を付けたより多くのデータを使用してモデルを微調整して、パフォーマンスをさらに向上させることもできます。

#結論

ReAct は、よりスマートな を開発しています。より一般的な AI システムに向けた大きな一歩であり、Langchain ライブラリの非常に便利なプロキシ関数もサポートしています。言語モデルで推論と動作を組み合わせることで、さまざまなタスクにわたってパフォーマンスの向上が実証されていると同時に、解釈可能性と信頼性も強化されています。人工知能が進化し続けるにつれて、推論と行動の統合は、より有能で適応性のある人工知能システムを作成する上で重要な役割を果たします

論文へのリンクを提供してください:

以上がよりスマートな AI の実現: 言語モデルで推論と動作を統合する ReAct テクノロジーの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。