大型模型開發工具集已經建立！-人工智慧-PHP中文網

需要進行改寫的內容是：作者Richard MacManus

策劃 | 言徵

Web3未能顛覆掉Web2，但新興的大模型開發棧正在讓開發者從「雲原生」時代邁向新的AI技術堆疊。

提示工程師或許不能觸動開發者奔赴大模型的神經，但產品經理或者領導的一句：能不能開發一個“agent”，能不能實現一條“chain”，“使用哪款向量數據庫” ，卻成為了目前各大主流大模型應用公司中驅動技術同學攻克生成AI開發的難點所在。

新興的技術堆疊究竟分為哪幾層？哪裡最棘手？本文將帶領大家一探究竟

1、技術堆疊需要更新了開發者迎來AI工程師時代

在過去的一年裡，出現了一些工具，如LangChain和LlamaIndex，這使得AI應用程式的開發者生態系統開始變得成熟。甚至，現在還有一個術語來形容那些專注於人工智慧開發的人員，也就是「AI工程師」。根據Shawn@swyx Wang的說法，這是「提示工程師」的下一步。他還創建了一張座標圖，形象化了AI工程師在更廣泛的人工智慧生態系統中的位置

大型模型開發工具集已經建立！圖源：swyx

大型語言模型（LLM）是AI工程師的核心技術。 LangChain和LlamaIndex都是擴充和補充LLM的工具，這絕非巧合。但是，對於這類新的開發人員來說，還有什麼其他工具可用呢？

到目前為止，我看到的LLM堆疊的最佳圖表來自創投公司Andreessen Horowitz（a16z）。以下是它對「LLM app stack」的看法：

大型模型開發工具集已經建立！圖源：a16z

2、沒錯，最頂層的還是數據

在LLM技術堆疊中，資料是最重要的組成部分，這一點非常明顯。根據a16z的圖表，數據處於最頂層。在LLM中，"嵌入模型"是非常關鍵的領域，你可以從OpenAI、Cohere、Hugging Face或其他數十種LLM選項中進行選擇，其中包括越來越受歡迎的開源LLM

#在使用LLM之前，還需要建立一個「資料管道」。例如，可以將Databricks和Airflow作為兩個範例，或者可以對資料進行「非結構化」處理。這對於資料的周期性也是適用的，可以幫助企業在將資料輸入自訂LLM之前進行資料的「清理」或簡單整理。像Alation這樣的「資料智慧」公司提供這種類型的服務，聽起來有點像IT技術堆疊中更為人所知的「商業智慧」等工具

資料層的最後一部分是近期非常受歡迎的向量資料庫，用於儲存和處理LLM資料。根據微軟的定義，這是一種將資料儲存為高維向量的資料庫，高維向量是特徵或屬性的數學表示。資料使用嵌入技術儲存為向量

在一次媒體交談中，領先的向量資料庫供應商Pinecone指出，他們的工具經常與資料管道工具（如Databricks）一起使用。在這種情況下，資料通常儲存在其他地方（例如資料湖），然後透過機器學習模型轉換為嵌入式資料。經過處理和分塊後，生成的向量會被發送到Pinecone

3、提示和查詢

接下來的兩個層次可以總結為提示和查詢- 這是人工智慧應用程式與LLM和（可選）其他資料工具介面的交互點。 A16z將LangChain和LlamaIndex定位為“編排框架”，這意味著一旦開發人員了解他們使用的是哪種LLM，就可以利用這些工具

根據a16z的觀點，像LangChain和LlamaIndex這樣的編排框架“抽象掉了許多提示連結的細節”，這意味著在應用程式和LLM之間查詢和管理資料。這個編排過程包括與外部API介面的交互，從向量資料庫中檢索上下文數據，以及在多個LLM呼叫中維護記憶體。 a16z圖表中最有趣的方框是“遊樂場”，其中包括OpenAI、nat.dev和Humanloop

A16z在部落格文章中沒有確切定義，但我們可以推斷，“遊樂場”工具可以幫助開發者施展A16z所說的「提示柔術」。在這些地方，開發人員可以嘗試各種提示技術。

Humanloop是一家英國公司，其平台的一個功能是「協作提示工作區」。它進一步將自己描述為「用於生產LLM功能的完整開發工具包」。因此，基本上，它允許您嘗試LLM的東西，然後將其部署到應用程式中（如果它有效的話）

4、管線作業：LLMOps

目前，大型生產管線的佈局正在逐漸明確。在編排框的右側，有許多操作框，其中包括LLM快取和驗證。此外，還有一系列與LLM相關的雲端服務和API服務，其中包括Hugging Face等開放的API儲存庫，以及OpenAI等專有的API供應商

這可能是我們在“雲端原生”時代習慣的開發人員技術堆疊中最相似的地方，許多DevOps公司將人工智慧添加到了他們的產品清單中，這絕非巧合。 5月，我與Harness執行長Jyoti Bansal進行了交談。 Harness運行一個“軟體交付平台”，專注於CI/CD流程的“CD”部分。

Bansai告訴我，人工智慧可以減輕軟體交付生命週期中涉及的繁瑣和重複的任務，從基於現有功能生成規範到編寫程式碼。此外，他還表示，人工智慧可以自動化程式碼審查、漏洞測試、錯誤修復，甚至為建置和部署創建CI/CD管道。根據我在五月的另一次對話，人工智慧也在改變開發人員的生產力。來自建立自動化工具Gradle的Trisha Gee告訴我，人工智慧可以透過減少重複任務（如編寫樣板程式碼）的時間來加速開發，並使開發人員能夠專注於大局，例如確保程式碼滿足業務需求。