Menyimpan DokumenDB sebagai vektor menggunakan langchain

Dokumen ini menerangkan cara menggunakan Langchain untuk menyimpan DocumentDB sebagai vektor. Oleh kerana API Query Carian Vektor DocumentDB berbeza daripada MongoDB, anda mungkin menghadapi masalah menggunakan kaedah integrasi MongoDB secara langsung. Artikel ini akan memperkenalkan cara menggunakan Integrasi Penyimpanan Vektor Dokumen Dokumen yang disediakan oleh Langchain, dan menyediakan kod sampel dan langkah berjaga -jaga untuk membantu anda berjaya menggunakan DocumentDB sebagai penyimpanan vektor.

Langchain mengintegrasikan dengan penyimpanan vektor dokumen

DocumentDB baru -baru ini mengeluarkan keupayaan carian vektor. Walaupun DocumentDB serasi dengan MongoDB, API pertanyaan carian vektornya berbeza daripada MongoDB. Oleh itu, menggunakan kod yang direka untuk atlas MongoDB secara langsung mungkin tidak berfungsi dengan betul. Langchain kini secara langsung menyokong DocumentDB sebagai kedai vektor, dengan itu menyelesaikan masalah ini.

Pasang perpustakaan yang diperlukan

Pertama, pastikan anda mempunyai perpustakaan yang berkaitan dengan Langchain dan DocumentDB. Ia boleh dipasang menggunakan PIP:

 Pip Pasang Langchain Pymongo

Sambung ke DocumentDB

Untuk menyambung ke pangkalan data DocumentDB, anda perlu menyediakan rentetan sambungan. Pastikan rentetan sambungan mengandungi kelayakan dan maklumat pangkalan data yang betul.

 Dari Pymongo Import Mongoclient

Gantikan dengan sambungan sambungan dokumen anda connection_string = "mongodb: // your_username: your_password@your_documentdb_cluster.us-east-1.docdb.amazonaws.com: 27017/? Replicaset = rs0 & ReadPreFerence = SecondaryPreferred"

pelanggan = mongoclient (connection_string)
db = klien ["your_database_name"] # Gantikan dengan koleksi nama pangkalan data anda = db ["your_collection_name"] # Gantikan dengan nama koleksi anda

Buat Penyimpanan Vektor DokumenDB Menggunakan Langchain

Seterusnya, buat kedai vektor menggunakan kelas DocumentDB Langchain. Pertama, anda perlu menyediakan model dokumentasi dan embed.

 dari langchain.document_loaders Import Textloader
dari langchain.embeddings import Openaiembeddings # Anda boleh menggunakan model embedding yang disokong oleh Langchain dari Langchain.VectorStores Import Documentdb
dari langchain.text_splitter import charactertextsplitter

# Muatkan Loader Dokumen = TextLoader ("Your_document.txt") # Gantikan dengan dokumen dokumen dokumen anda = loader.load ()

# Pecahkan dokumen text_splitter = characterTextSplitter (chunk_size = 1000, chunk_overlap = 0)
docs = text_splitter.split_documents (dokumen)

# Inisialisasi Embedding Model Embeddings = OpenaiembedDings () # Memerlukan Openai API Key # Buat Dokumen Vector Vector_Store = Documentdb.from_documents (
    Dokumen,
    embeddings,
    koleksi = koleksi,
)

Penjelasan kod:

• Textloader digunakan untuk memuatkan fail teks. Anda boleh memilih pemuat yang berbeza berdasarkan jenis dokumen anda.
• WatakTextSplitter digunakan untuk memecah dokumen ke dalam ketulan yang lebih kecil untuk vektorisasi yang lebih baik.
• Openaiembeddings digunakan untuk menjana vektor embedding untuk dokumen. Anda perlu menyediakan kunci API OpenAI. Anda boleh memilih model penyembuhan lain yang disokong oleh Langchain, seperti cohereembeddings atau huggingfaceembeddings.
• Documentdb.from_documents digunakan untuk membuat kedai vektor DocumentDB dari dokumen. Ia menerima senarai dokumen, model tertanam, dan koleksi MongoDB sebagai parameter.

Melakukan carian persamaan

Selepas membuat kedai vektor, anda boleh melakukan carian kesamaan menggunakan kaedah persamaan_search.

 pertanyaan = "Apa dokumen ini?"
hasil = vector_store.similarity_search (pertanyaan)

cetak (hasil)

Penjelasan kod:

• Pertanyaan adalah pernyataan pertanyaan yang ingin anda cari.
• vector_store.similarity_search digunakan untuk melakukan carian persamaan. Ia mengembalikan senarai dokumen yang paling serupa dengan pernyataan pertanyaan.

Kod sampel lengkap

Berikut adalah kod contoh lengkap yang menunjukkan cara menyimpan dokumen sebagai vektor menggunakan langchain:

 Dari Pymongo Import Mongoclient
dari langchain.document_loaders Import Textloader
dari langchain.embeddings import Openaiembeddings
dari Langchain.VectorStores Import Documentdb
dari langchain.text_splitter import charactertextsplitter

Gantikan dengan sambungan sambungan dokumen anda connection_string = "mongodb: // your_username: your_password@your_documentdb_cluster.us-east-1.docdb.amazonaws.com: 27017/? Replicaset = rs0 & ReadPreFerence = SecondaryPreferred"

pelanggan = mongoclient (connection_string)
db = klien ["your_database_name"] # gantikan dengan koleksi nama pangkalan data anda = db ["your_collection_name"] # gantikan dengan nama koleksi anda # load dokumen loader = textloader ("your_document.txt") # gantikan dengan dokumen dokumen anda = loader.load ()

# Pecahkan dokumen text_splitter = characterTextSplitter (chunk_size = 1000, chunk_overlap = 0)
docs = text_splitter.split_documents (dokumen)

# Inisialisasi Embedding Model Embeddings = OpenaiembedDings () # Memerlukan Openai API Key # Buat Dokumen Vector Vector_Store = Documentdb.from_documents (
    Dokumen,
    embeddings,
    koleksi = koleksi,
)

# Lakukan pertanyaan carian persamaan = "Apa dokumen ini?"
hasil = vector_store.similarity_search (pertanyaan)

cetak (hasil)

Perkara yang perlu diperhatikan

• Pastikan cluster DocumentDB anda mempunyai carian vektor diaktifkan.
• Pilih model penyembuhan yang sesuai dan laraskan parameter model embedding mengikut keperluan anda.
• Bergantung pada saiz dan kerumitan dokumen anda, laraskan parameter chunk_size dan chunk_overlap characterTextSplitter.
• Apabila menggunakan Openaiembeddings, pastikan anda menetapkan kunci API OpenAI.

Meringkaskan

Artikel ini menerangkan cara menggunakan Langchain untuk menyimpan DocumentDB sebagai vektor. Dengan menggunakan integrasi penyimpanan vektor DocumentDB yang disediakan oleh Langchain, anda boleh mengintegrasikan DocumentDB dengan mudah ke dalam aplikasi Langchain anda dan memanfaatkan keupayaan carian vektor DocumentDB. Perlu diingat bahawa API Carian Vektor DocumentDB berbeza daripada MongoDB, jadi anda mesti menggunakan integrasi DocumentDB yang disediakan oleh Langchain.

Atas ialah kandungan terperinci Menyimpan DokumenDB sebagai vektor menggunakan langchain. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!