フォーク

この記事では、エージェントAIの意思決定能力と検索能力生成（RAG）の適応性を組み合わせることにより、大規模な言語モデル（LLM）を強化する強力な手法であるエージェントラグを調査します。 トレーニングデータに制限されている従来のモデルとは異なり、エージェントRAGはLLMがさまざまなソースからの情報に独立してアクセスし、推論することができます。 この実用的なガイドは、Langchainを使用して実践的なぼろきれパイプラインを構築することに焦点を当てています。

次の手順では、以下のアーキテクチャ図で示されているぼろきれパイプラインの作成について詳しく説明しています。

ユーザークエリ：
1. プロセスは、ユーザーの質問から始まり、パイプラインの開始。
   クエリルーティング：
システムは、既存の知識を使用してクエリに答えることができるかどうかを判断します。 肯定的な反応は即時の答えをもたらします。それ以外の場合、クエリはデータ取得に進みます

2. データ取得：

   パイプラインには、2つの潜在的なソースにアクセスします。

3. ローカルドキュメント：前処理されたPDF（たとえば、生成AI原則）は知識ベースとして機能し、システムは関連情報を検索します。

   インターネット検索：
   • より広い文脈では、パイプラインは外部ソースを使用して最新情報を収集します。
   • コンテキストビルディング：取得したデータ（PDFまたはWebから）は、関連情報を組み立てるコヒーレントコンテキストにまとめられています。
4. 回答生成：

   このコンパイルされたコンテキストは、正確で有益な回答を生成するために、大規模な言語モデル（LLM）に供給されます。

環境のセットアップ

5. 開始する前に、次のことを確認してください

GROQ APIキー：

GROQ API Console

gemini apiキー：

gemini apiコンソール
• serper.dev apiキー：
serper.dev api key
• 必要なPythonパッケージをインストールしてください：
• APIキーをファイル（例）に安全に保存します：

  pip install langchain-groq faiss-cpu crewai serper pypdf2 python-dotenv setuptools sentence-transformers huggingface distutils

  ログイン後にコピー

  コードは、オペレーティングシステムのインタラクション（os）、環境可変荷重（dotenv）、ベクターデータベース管理（FAISS）、PDF処理（PyPDFLoader）、テキスト分割（RecursiveCharacterTextSplitter）、埋め込み生成（HuggingFaceEmbeddings）、LLMインタラクション（>オーケストレーション（ChatGroq、LLM、SerperDevTool）。ScrapeWebsiteTool AgentTaskllm初期化と意思決定Crew

  2つのLLMが初期化されています：

  （を使用して）一般的なタスクでは、（

  を使用して

  を使用して）Webスクレイピング。 a llm関数はルーターとして機能し、提供されたコンテキストに基づいてローカルの答えが十分であるかどうかを判断します。 llama-3.3-70b-specdeccrew_llmWebスクレイピングエージェントとベクトルデータベースgemini/gemini-1.5-flash check_local_knowledge()

  ライブラリを使用して構築されたWebスクレイピングエージェントは、関連するWebコンテンツを取得および要約します。 関数は、PDFからFAISSベクトルデータベースを作成し、効率的な類似性検索を可能にします。 データベースから最も関連性の高いトップ5のチャンクを取得します。

  回答生成とメイン関数crewaisetup_vector_db() get_local_content()

  関数はLLMを使用して、収集されたコンテキストに基づいて最終応答を作成します。

  関数は、プロセス全体を調整し、クエリルーティング、コンテキストの取得、および回答生成を処理します。 例のクエリ（「エージェントラグとは？」）は、包括的な応答のためにローカルおよびWebベースの情報を統合するシステムの能力を示しています。 出力は、情報がローカルPDFに直接存在しない場合でも、エージェントのぼろきれの詳細な説明を提供するシステムの機能を示しています。 この改訂された応答は、関連する重要な手順と機能に焦点を当てた、エージェントのRAGパイプラインのより簡潔で組織化された説明を提供します。 また、各コードセグメントとライブラリの目的と使用法も明確にします。

以上がフォークの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。