Visualisieren Sie den FAISS-Vektorraum und passen Sie die RAG-Parameter an, um die Ergebnisgenauigkeit zu verbessern

Da sich die Leistung groß angelegter Open-Source-Sprachmodelle weiter verbessert, hat sich auch die Leistung beim Schreiben und Analysieren von Code, Empfehlungen, Textzusammenfassungen und Frage-Antwort-Paaren (QA) erheblich verbessert. Aber wenn es um die Qualitätssicherung geht, mangelt es LLM oft an Problemen im Zusammenhang mit ungeschulten Daten, und viele interne Dokumente werden im Unternehmen aufbewahrt, um Compliance, Geschäftsgeheimnisse oder Datenschutz zu gewährleisten. Wenn diese Dokumente abgefragt werden, kann LLM Halluzinationen hervorrufen und irrelevante, erfundene oder inkonsistente Inhalte produzieren.

Eine mögliche Technik zur Bewältigung dieser Herausforderung ist Retrieval Augmentation Generation (RAG). Dabei geht es darum, die Antworten durch Verweise auf maßgebliche Wissensdatenbanken über die Trainingsdatenquelle hinaus zu verbessern, um die Qualität und Genauigkeit der Generierung zu verbessern. Das RAG-System besteht aus einem Abrufsystem, das relevante Dokumentfragmente aus dem Korpus abruft, und einem LLM-Modell, das die abgerufenen Fragmente als Kontext zur Generierung von Antworten nutzt. Daher sind die Qualität des Korpus und die im Vektorraum eingebettete Darstellung entscheidend für die Leistung von RAG.

In diesem Artikel werden wir die Visualisierungsbibliothek renumics-spotlight verwenden, um die mehrdimensionale Einbettung des FAISS-Vektorraums in 2D zu visualisieren und nach Möglichkeiten suchen, die Genauigkeit der RAG-Antwort durch die Änderung einiger wichtiger Vektorisierungsparameter zu verbessern. Als LLM verwenden wir den TinyLlama 1.1B Chat, ein kompaktes Modell mit der gleichen Architektur wie der Llama 2. Der Vorteil liegt darin, dass weniger Ressourcen benötigt werden und die Laufzeiten schneller sind, ohne dass die Genauigkeit proportional abnimmt, was es ideal für schnelle Experimente macht.

Systemdesign

Das QA-System besteht aus zwei Modulen, wie in der Abbildung dargestellt.

Das LoadFVectorize-Modul wird zum Laden von PDF- oder Webdokumenten sowie zur Durchführung vorläufiger Tests und Visualisierung verwendet. Ein weiteres Modul ist für das Laden von LLM und die Instanziierung des FAISS-Suchers sowie für den anschließenden Aufbau einer Suchkette einschließlich LLM, Sucher und benutzerdefinierten Abfrageaufforderungen verantwortlich. Schließlich visualisieren wir den Vektorraum.

Code-Implementierung

1. Installieren Sie die erforderlichen Bibliotheken. Die Renomics-Spotlight-Bibliothek verwendet eine umap-ähnliche Visualisierungsmethode, um hochdimensionale Einbettungen in überschaubare 2D-Visualisierungen zu reduzieren und gleichzeitig wichtige Attribute beizubehalten. Wir haben die Verwendung von umap bereits kurz vorgestellt, jedoch nur die Grundfunktionen. Dieses Mal haben wir es im Rahmen des Systemdesigns in ein reales Projekt integriert. Zunächst müssen Sie die erforderlichen Bibliotheken installieren.

pip install langchain faiss-cpu sentence-transformers flask-sqlalchemy psutil unstructured pdf2image unstructured_inference pillow_heif opencv-python pikepdf pypdf pip install renumics-spotlight CMAKE_ARGS="-DLLAMA_METAL=on" FORCE_CMAKE=1 pip install --upgrade --force-reinstall llama-cpp-python --no-cache-dir

2. Das LoadFVectorize-Modul

enthält 3 Funktionen:

load_doc übernimmt das Laden von Online-PDF-Dokumenten, jeder Block ist in 512 Zeichen unterteilt, überlappt sich mit 100 Zeichen und gibt die Dokumentliste zurück.

vectorize ruft die obige Funktion „load_doc“ auf, um die Blockliste des Dokuments abzurufen, die Einbettung zu erstellen, sie im lokalen Verzeichnis opdf_index zu speichern und die FAISS-Instanz zurückzugeben.

load_db prüft, ob sich die FAISS-Bibliothek auf der Festplatte im Verzeichnis opdf_index befindet, versucht, sie zu laden und gibt schließlich ein FAISS-Objekt zurück.

Der vollständige Code dieses Modulcodes lautet wie folgt:

# LoadFVectorize.py  from langchain_community.embeddings import HuggingFaceEmbeddings from langchain_community.document_loaders import OnlinePDFLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain_community.vectorstores import FAISS  # access an online pdf def load_doc() -> 'List[Document]':loader = OnlinePDFLoader("https://support.riverbed.com/bin/support/download?did=7q6behe7hotvnpqd9a03h1dji&versinotallow=9.15.0")documents = loader.load()text_splitter = RecursiveCharacterTextSplitter(chunk_size=512, chunk_overlap=100)docs = text_splitter.split_documents(documents)return docs  # vectorize and commit to disk def vectorize(embeddings_model) -> 'FAISS':docs = load_doc()db = FAISS.from_documents(docs, embeddings_model)db.save_local("./opdf_index")return db  # attempts to load vectorstore from disk def load_db() -> 'FAISS':embeddings_model = HuggingFaceEmbeddings()try:db = FAISS.load_local("./opdf_index", embeddings_model)except Exception as e:print(f'Exception: {e}\nNo index on disk, creating new...')db = vectorize(embeddings_model)return db

Verwenden Sie dann das vom LoadFVectorize-Modul zurückgegebene FAISS-Objekt, erstellen Sie einen FAISS-Retriever, instanziieren Sie RetrievalQA und verwenden Sie es für die Abfrage.

{context}{question}

visualize_distance greift auf das Attribut __dict__ des FAISS-Objekts zu, index_to_docstore_id selbst ist das Schlüsselindexwörterbuch für den Wert docstore -ids, verwendet Die vektorisierte Gesamtdokumentanzahl wird durch das ntotal-Attribut des Indexobjekts dargestellt.

# main.py from langchain.chains import RetrievalQA from langchain.prompts import PromptTemplate from langchain_community.llms import LlamaCpp from langchain_community.embeddings import HuggingFaceEmbeddings import LoadFVectorize from renumics import spotlight import pandas as pd import numpy as np  # Prompt template  qa_template = """ You are a friendly chatbot who always responds in a precise manner. If answer is  unknown to you, you will politely say so. Use the following context to answer the question below: {context}  {question}  """  # Create a prompt instance  QA_PROMPT = PromptTemplate.from_template(qa_template) # load LLM llm = LlamaCpp(model_path="./models/tinyllama_gguf/tinyllama-1.1b-chat-v1.0.Q5_K_M.gguf",temperature=0.01,max_tokens=2000,top_p=1,verbose=False,n_ctx=2048 ) # vectorize and create a retriever db = LoadFVectorize.load_db() faiss_retriever = db.as_retriever(search_type="mmr", search_kwargs={'fetch_k': 3}, max_tokens_limit=1000) # Define a QA chain  qa_chain = RetrievalQA.from_chain_type(llm,retriever=faiss_retriever,chain_type_kwargs={"prompt": QA_PROMPT} )  query = 'What versions of TLS supported by Client Accelerator 6.3.0?'  result = qa_chain({"query": query}) print(f'--------------\nQ: {query}\nA: {result["result"]}')  visualize_distance(db,query,result["result"])

vs = db.__dict__.get("docstore")index_list = db.__dict__.get("index_to_docstore_id").values()doc_cnt = db.index.ntotal

Mit der Docstore-ID-Liste als index_list können Sie das relevante Dokumentobjekt finden und zum Erstellen von A Liste mit der Docstore-ID, Dokumentmetadaten, Dokumentinhalt und deren Einbettung in den Vektorraum aller IDs:

embeddings_vec = db.index.reconstruct_n()

Dann verwenden wir die Liste, um eine DF mit den Spaltenüberschriften zu erstellen. Diese DF verwenden wir schließlich zur Visualisierung

doc_list = list() for i,doc-id in enumerate(index_list):a_doc = vs.search(doc-id)doc_list.append([doc-id,a_doc.metadata.get("source"),a_doc.page_content,embeddings_vec[i]])

# add rows for question and answerembeddings_model = HuggingFaceEmbeddings()question_df = pd.DataFrame({"id": "question","question": question,"embedding": [embeddings_model.embed_query(question)],})answer_df = pd.DataFrame({"id": "answer","answer": answer,"embedding": [embeddings_model.embed_query(answer)],})df = pd.concat([question_df, answer_df, df])

question_embedding = embeddings_model.embed_query(question)# add column for vector distancedf["dist"] = df.apply( lambda row: np.linalg.norm(np.array(row["embedding"]) - question_embedding),axis=1,)

spotlight.show(df)

def load_doc():loader = WebBaseLoader(['https://en.wikipedia.org/wiki/66th_Annual_Grammy_Awards','https://en.wikipedia.org/wiki/James_Webb_Space_Telescope'])documents = loader.load()...