在Sqlite中檢索增強發電

這個分為兩部分的系列使用SQLite進行機器學習探索。 上一篇文章討論了SQLite在生產就緒的Web應用程序中的越來越多的作用。本文著重於使用sqlite實施檢索功能。

>用於使用生成AI的自定義Web應用程序，請訪問losangelesaiapps.com >

>在此處。 。

>在抹布上搜索教程。
選擇一個流行的框架（Langchain，LlamainDex）。
2. 選擇一個雲向量數據庫（Pinecone，Weaviate）。
>
3. 集成這些組件。
有效，這種方法可能過於復雜，尤其是對於初學者而言。 本文使用SQLITE和

> sqlite-vec這種方法消除了對雲矢量數據庫和笨重框架的需求。

Sqlite的強度在於其可擴展性。 與Python庫類似的擴展名添加了C中寫入的功能。一個很好的示例是全文搜索（FTS）擴展。 添加矢量搜索功能，從而使語義理解超出關鍵字匹配。 尋找“馬”可能會返回“馬術”或“小馬”。

使用虛擬表，提供：sqlite-vec

>sqlite-vec>自定義數據源：

• 靈活功能：支持專業的索引和復雜的數據類型。
• >無縫集成：與標準sqlite查詢語法集成。
>模塊：
• 後端邏輯是在單獨的模塊中實現的。 使用：
>創建虛擬表
• >指定模塊（在此，

CREATE VIRTUAL TABLE my_table USING my_extension_module();

my_extension_module() vec0代碼（sqlite-vecrepo link

文件作為示例數據（主要是物理相關）。 是sqlite數據庫文件。

>安裝：.txtmy_docs.db>列出了必要的庫（

，
1. ）。創建一個虛擬環境並運行

   requirements.txt sqlite-vec>openaiopenai api鍵：python-dotenv獲取openai api鍵。 pip install -r requirements.txt

2. > 加載擴展名：python代碼加載sqlite-vec>擴展名並創建一個虛擬表：

CREATE VIRTUAL TABLE my_table USING my_extension_module();

documents表存儲嵌入式（embedding），fileNames（file_name）和content（content）。 表示輔助字段。

4. >>嵌入和插入：.txt代碼通過
文件迭代，使用OpenAI API生成嵌入式，然後將它們插入數據庫：>

db.enable_load_extension(True)
sqlite_vec.load(db)
db.enable_load_extension(False)

db.execute('''
    CREATE VIRTUAL TABLE documents USING vec0(
        embedding float[1536],
        +file_name TEXT,
        +content TEXT
    )
''')

5. rag查詢：

# ... (OpenAI embedding function) ...

for file_name in os.listdir("data"):
    # ... (Open file, get content, get embedding) ...
    db.execute(
        'INSERT INTO documents (embedding, file_name, content) VALUES (?, ?, ?)',
        (serialize_float32(embedding), file_name, content)
    )
db.commit()