使用 Chrome API 的本機 AI

大多數使用人工智慧 (AI) 的產品通常都是透過使用 API 來實現這一點，而 API 又連接到伺服器以將結果傳回網路。當任務很緊張並且需要大量處理能力時，這很有意義。

但是對於簡單的任務有更有效的選擇嗎？

Chrome 團隊實驗性地推出了一個 API，讓您在本地與 Gemini Nano 模型進行互動。這樣就無需使用更大的模型（例如 Gemini Pro 1.5）來執行複雜的任務。

主要區別

1. 本地整合：不需要部署模型。它直接整合到瀏覽器中，負責管理下載、更新和改進。開發人員只需擔心將其整合到他們的應用程式中。

2. 下載效率：透過不需要應用程式下載模型，提高了效率。在網路環境中，即使是小模型，尺寸也可能很大。例如，transformer.js 模型的大小約為 60MB。

3. 提高效能：這種本地整合允許存取設備資源，例如 GPU，從而顯著提高效能。

本地運行模型的好處

• 保存對伺服器的呼叫：透過避免不斷查詢伺服器，Web 應用程式變得更加高效，減少等待時間。

• 隱私權：資料保留在裝置上，無需將其傳送到外部伺服器，從而增加了額外的安全層。

• 離線使用：下載後，模型即可在裝置上使用，無需網路連線即可使用。

混合架構

本地模型雖然高效，但我們不能完全拋棄伺服器。這對於處理更複雜的任務仍然是必要的。關鍵是找到“最佳點”，即確定何時使用本地模型以及何時訴諸伺服器的最佳點。

此外，整合模型可以在伺服器故障或缺乏網路連線的情況下作為備份。

限制

由於它是一個小型模型並針對在瀏覽器中運行進行了最佳化，因此其容量更加有限。目前，建議將其用於特定任務，例如翻譯、摘要或文字改進。這些類型的模型被稱為“專家模型”，因為它們對於特定任務更有效。

加入實驗計劃

如果您想嘗試這個API，您可以透過填寫此連結中的表格來加入實驗計劃。您將獲得文件和 Google 群組的存取權限，您可以在其中隨時了解 API 的更新和變更。

在下面的文章中了解如何開始使用此 API 以及可用的功能。

以上是使用 Chrome API 的本機 AI的詳細內容。更多資訊請關注PHP中文網其他相關文章！