首頁 > 科技週邊 > 人工智慧 > 還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

WBOY
發布: 2023-04-08 11:41:03
轉載
2165 人瀏覽過

距離 ChatGPT 的最初發布,過去差不多四個月的時間了。在這段期間,ChatGPT 的驚艷表現,讓人直呼 AIGC 是不是要提前實現了。

不過眾所周知的一個秘密是,ChatGPT 不大可能開源,加上巨大的算力投入以及海量的訓練資料等,都為研究界複製其實現過程設下重重關卡。

面對 ChatGPT 的來勢洶洶,開源平替是一個不錯的選擇,它們在實現相似功能的同時,還能讓你透過替代品了解 ChatGPT 的運行機理。

隨著技術的進步,現在已經出現了許多其他類似 ChatGPT 的新 AI 模型。本文我們將為大家盤點 ChatGPT 的開源平替專案。內容將分為兩部分,一部分為類別 ChatGPT 開源專案匯總,另一部分是對該專案匯總的補充。

專案總結

專案作者 nichtdax 整理了 9 個開源的 ChatGPT 平替專案。接下來會一一介紹。

還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

#專案網址:https://github.com/nichtdax/awesome -totally-open-chatgpt

PaLM-rlhf-pytorch

第一個專案是「PaLM-rlhf-pytorch」,計畫作者為Phil Wang。該專案是在 PaLM 架構之上實現 RLHF(人類回饋的強化學習),它基本上是使用 PaLM 的 ChatGPT。

該專案已在 GitHub 上獲得了 5.8k 的 Stars。

還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

#專案位址:https://github.com/lucidrains/PaLM-rlhf- pytorch

下圖為訓練流程。

還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

OpenChatKit

第二個項目是「OpenChatKit」,它提供了一個強大的開源基礎,為各種應用程式創建專用和通用的聊天機器人。該 kit 包含了一個經過指令調優的 200 億參數語言模型、一個 60 億參數調節模型和一個涵蓋自訂儲存庫最新回應的可擴展檢索系統。

OpenChatKit 是在 OIG-43M 訓練資料集上訓練的,該資料集是 Together、LAION 和 Ontocord.ai 三者的聯合。專案作者表示,這不僅是一個模型的發布,也是一個開源專案的開始。他們正在發布一套工具和流程,並透過社群貢獻持續改進。

該專案已在 GitHub 上獲得了 5.7k 的 Stars。

還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

#專案網址:https://github.com/togethercomputer/OpenChatKit

#text-generation-webui

第三個項目是“text-generation-webui”,它是一個用於運行GPT-J 6B、OPT、GALACTICA、LLaMA 和Pygmalion 等大語言模型的gradio web UI。該專案旨在成為文本生成領域的 AUTOMATIC1111/stable-diffusion-webui。

功能包括使用下拉式選單在不同模型之間切換、提供類似OpenAI playground 的筆電模式、用於對話和角色扮演的聊天模式、為GPT-4chan 產生漂亮的HTML 輸出等等。

該專案已在 GitHub 上獲得了 3.4k 。

還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

#專案位址:https://github.com/oobabooga/text-generation- webui

KoboldAI-Client

第四個專案是「KoboldAI-Client」,它是一個基於瀏覽器的前端,透過多個本地和遠端AI 模型實現AI 輔助寫作。

KoboldAI-Client 提供了一系列標準的工具,包括記憶體、作者註解、世界資訊、儲存& 載入、可調節的AI 設定、格式化選項以及匯入現有文字冒險遊戲《AI Dungeon》的能力。你可以開啟 Adventure 模式,也可以玩 AI Dungeon Unleashed 之類的遊戲。

該專案已在 GitHub 上獲得了 1.4k。

還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

#專案位址:https://github.com/KoboldAI/KoboldAI-Client

Open-Assistant

第五個項目是“Open-Assistant”,它旨在讓每個人都可以存取基於聊天的大語言模型。計畫作者希望藉此在語言創新方面掀起一場革命,就像 stable diffusion 幫助世界以新的方式創造藝術和圖像一樣。

專案作者計畫收集高品質人工產生指令執行樣本(指示 回應),目標大於 50k。對於收集到的每個指示,他們將採樣多個補全結果。接下來進入基於指示和獎勵模型的 RLHF 訓練階段。

該專案已在 GitHub 上獲得了 19k 的 Stars。

還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

#專案網址:https://github.com/LAION-AI/Open- Assistant

stanford_alpaca

第六個項目是“stanford_alpaca”,它旨在建立和共享一個指令遵循的LLaMA 模型。該 repo 包含了用於微調模型的 52k 資料、用於生成資料的程式碼以及用於微調模型的程式碼。

該專案已在 GitHub 上獲得了 9.5k 的 Stars。

還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

#專案網址:https://github.com/tatsu-lab/stanford_alpaca

ChatRWKV

第七個專案是“ChatRWKV”,它類似於ChatGPT,但由RWKV(100% RNN)模型支持,並且是開源的。專案作者表示,RWKV 是目前唯一能在品質和擴展方面媲美 transformers 的 RNN 模型,同時速度更快、節省 VRAM。

該專案已在 GitHub 上獲得了 3.5k 的 Stars。

還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

#專案位址:https://github.com/BlinkDL/ChatRWKV

#

ChatGLM-6B

第八個項目是由清華技術成果轉化的公司智譜AI 開源、支援中英雙語的對話語言模型“ChatGLM-6B”,基於General Language Model (GLM) 架構,具有62 億參數。結合模型量化技術,使用者可以在消費級的顯示卡上進行本地部署(INT4 量化等級下最低只需 6GB 記憶體)。

ChatGLM-6B 使用了和 ChatGPT 相似的技術,針對中文問答和對話進行最佳化。經過約 1T 標識符的中英雙語訓練,輔以監督微調、反饋自助、人類反饋強化學習等技術的加持,62 億參數的 ChatGLM-6B 已經能產生相當符合人類偏好的答案。

不過由於ChatGLM-6B 的規模較小,目前已知其具有相當多的局限性,如事實性/ 數學邏輯錯誤、可能生成有害/ 有偏見內容、較弱的脈絡能力、自我認知混亂、以及對英文指示生成與中文指示完全矛盾的內容。

該專案已在 GitHub 上獲得了 6k 的 Stars。

還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

#專案位址:https://github.com/THUDM/ChatGLM-6B

xmtf

第九個專案是「xmtf」,包含了創建論文《Crosslingual Generalization through Multitask Finetuning》中介紹的BLOOMZ、mT0 和xP3 的所有元件。

其中BLOOMZ 是一個1760 億參數且可開放獲取的多語言模型;mT0(這裡特指谷歌的T5X);xP3 是46 種語言的有監督資料集,帶有英文和機器翻譯的prompts。

還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

#專案位址:https://github.com/bigscience-workshop/xmtf

除了上述提到的模型,ChatGPT 平替專案還包括基於Meta 開源的大模型系列 LLaMA(Large Language Model Meta AI)的一些研究,這個系列模型的參數量從70 億到650 億不等。具有130 億參數的LLaMA 模型「在大多數基準上」可以勝過GPT-3( 參數量達1750 億),而且可以在單塊V100 GPU 上運行;而最大的650 億參數的LLaMA 模型可以媲美谷歌的Chinchilla-70B 和PaLM-540B。

還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

  • 論文連結:https://research.facebook.com/publications/llama-open-and-efficient-foundation-language -models/
  • GitHub 連結:https://github.com/facebookresearch/llama

基於此研究,開發者也提出了幾個開源專案。

llama.cpp 無需GPU,就能運行LLaMA

llama.cpp 專案實現了在MacBook 上運行LLaMA,還有開發者成功的在4GB RAM 的樹莓派上運行了LLaMA 7B。總結而言,即使開發者沒有 GPU ,也能運行 LLaMA 模型。

還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

#專案網址:https://github.com/ggerganov/llama.cpp

ChatLLaMA

#

由於 LLaMA 大模型系列沒有使用 RLHF 方法,因此新創公司 Nebuly AI 開源了 RLHF 版 LLaMA(ChatLLaMA)的訓練方法。它的訓練過程類似 ChatGPT,該計畫允許基於預訓練的 LLaMA 模型建立 ChatGPT 形式的服務。與ChatGPT 相比,LLaMA 架構更小,但訓練過程和單GPU 推理速度更快,成本更低;該庫還支援所有的LLaMA 模型架構(7B、13B、33B、65B),因此用戶可以根據訓練時間和推理性能偏好對模型進行微調。

還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話

#專案位址:https://github.com/nebuly-ai/nebullvm/ tree/main/apps/accelerate/chatllama

期待後續更多開源專案加入。

以上是還在為玩不了ChatGPT苦惱?這十幾個開源平替也能體驗智慧對話的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板