So erstellen Sie einen lokalen RAG-Agenten mit Ollama und LangChain

Was ist ein RAG?

RAG steht für Retrieval-Augmented Generation, eine leistungsstarke Technik, die darauf abzielt, die Leistung großer Sprachmodelle (LLMs) zu verbessern, indem ihnen spezifischer, relevanter Kontext in Form von Dokumenten bereitgestellt wird. Im Gegensatz zu herkömmlichen LLMs, die Antworten ausschließlich auf der Grundlage ihres vorab trainierten Wissens generieren, können Sie mit RAG die Ausgabe des Modells besser an Ihren gewünschten Ergebnissen ausrichten, indem Sie Echtzeitdaten oder domänenspezifische Informationen abrufen und nutzen.

RAG vs. Feinabstimmung

Während sowohl RAG als auch Feinabstimmung darauf abzielen, die Leistung von LLMs zu verbessern, ist RAG oft eine effizientere und ressourcenschonendere Methode. Bei der Feinabstimmung geht es darum, ein Modell anhand eines speziellen Datensatzes neu zu trainieren, was erhebliche Rechenressourcen, Zeit und Fachwissen erfordert. RAG hingegen ruft relevante Informationen dynamisch ab und integriert sie in den Generierungsprozess, was eine flexiblere und kostengünstigere Anpassung an neue Aufgaben ohne umfangreiche Umschulung ermöglicht.

Erstellen eines RAG-Agenten

Installieren der Anforderungen

Installieren Sie Ollama

Ollama stellt die Backend-Infrastruktur bereit, die für die lokale Ausführung von LLaMA erforderlich ist. Besuchen Sie zunächst die Website von Ollama und laden Sie die Anwendung herunter. Befolgen Sie die Anweisungen, um es auf Ihrem lokalen Computer einzurichten.

Installieren Sie die LangChain-Anforderungen

LangChain ist ein Python-Framework, das für die Zusammenarbeit mit verschiedenen LLMs und Vektordatenbanken entwickelt wurde und sich daher ideal für die Erstellung von RAG-Agenten eignet. Installieren Sie LangChain und seine Abhängigkeiten, indem Sie den folgenden Befehl ausführen:

pip install langchain

Codierung des RAG-Agenten

Erstellen Sie eine API-Funktion

Zunächst benötigen Sie eine Funktion zur Interaktion mit Ihrer lokalen LLaMA-Instanz. So können Sie es einrichten:

from requests import post as rpost

def call_llama(prompt):
    headers = {"Content-Type": "application/json"}
    payload = {
        "model": "llama3.1",
        "prompt": prompt,
        "stream": False,
    }

    response = rpost(
        "http://localhost:11434/api/generate",
        headers=headers,
        json=payload
    )
    return response.json()["response"]

Erstellen Sie ein LangChain-LLM

Als nächstes integrieren Sie diese Funktion in eine benutzerdefinierte LLM-Klasse in LangChain:

from langchain_core.language_models.llms import LLM

class LLaMa(LLM):
    def _call(self, prompt, **kwargs):
        return call_llama(prompt)

    @property
    def _llm_type(self):
        return "llama-3.1-8b"

Integration des RAG-Agenten

Einrichten des Retrievers

Der Retriever ist dafür verantwortlich, relevante Dokumente basierend auf der Anfrage des Benutzers abzurufen. So richten Sie es mit FAISS für die Vektorspeicherung und den vorab trainierten Einbettungen von HuggingFace ein:

from langchain.vectorstores import FAISS
from langchain_huggingface import HuggingFaceEmbeddings

documents = [
    {"content": "What is your return policy? ..."},
    {"content": "How long does shipping take? ..."},
    # Add more documents as needed
]

texts = [doc["content"] for doc in documents]

retriever = FAISS.from_texts(
    texts,
    HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")
).as_retriever(k=5)

Erstellen Sie die Eingabeaufforderungsvorlage

Definieren Sie die Eingabeaufforderungsvorlage, die der RAG-Agent verwendet, um Antworten basierend auf den abgerufenen Dokumenten zu generieren:

from langchain.prompts import ChatPromptTemplate, MessagesPlaceholder

faq_template = """
You are a chat agent for my E-Commerce Company. As a chat agent, it is your duty to help the human with their inquiry and make them a happy customer.

Help them, using the following context:
<context>
{context}
</context>
"""

faq_prompt = ChatPromptTemplate.from_messages([
    ("system", faq_template),
    MessagesPlaceholder("messages")
])

Erstellen Sie Dokumenten- und Retrieverketten

Kombinieren Sie den Dokumentenabruf und die LLaMA-Generierung in einer zusammenhängenden Kette:

from langchain.chains.combine_documents import create_stuff_documents_chain

document_chain = create_stuff_documents_chain(LLaMa(), faq_prompt)

def parse_retriever_input(params):
    return params["messages"][-1].content

retrieval_chain = RunnablePassthrough.assign(
    context=parse_retriever_input | retriever
).assign(answer=document_chain)

Starten Sie Ihren Ollama-Server

Bevor Sie Ihren RAG-Agenten ausführen, stellen Sie sicher, dass der Ollama-Server betriebsbereit ist. Starten Sie den Server mit dem folgenden Befehl:

ollama serve

Fordern Sie Ihren RAG-Agenten auf

Jetzt können Sie Ihren RAG-Agenten testen, indem Sie eine Anfrage senden:

from langchain.schema import HumanMessage

response = retrieval_chain.invoke({
    "messages": [
        HumanMessage("I received a damaged item. I want my money back.")
    ]
})

print(response)

Antwort:
„Es tut mir sehr leid zu hören, dass Sie einen beschädigten Artikel erhalten haben. Wenn Sie einen beschädigten Artikel erhalten, wenden Sie sich gemäß unserer Richtlinie bitte umgehend an unseren Kundenservice mit Fotos des Schadens. Wir werden einen Ersatz oder eine Rückerstattung für Sie veranlassen. Möchten Sie, dass ich Ihnen bei der Rückerstattung behilflich bin? Ich benötige einige Informationen von Ihnen, z. B. Ihre Bestellnummer und Details zum beschädigten Artikel. Können Sie diese bitte angeben, damit ich Ihnen bei der Bearbeitung Ihrer Anfrage helfen kann?

Das obige ist der detaillierte Inhalt vonSo erstellen Sie einen lokalen RAG-Agenten mit Ollama und LangChain. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!