清華系千億基座對話模型ChatGLM啟動內測，開源單卡版模型

ChatGPT 的發布，攪動了整個 AI 領域，各大科技公司、新創公司以及大學團隊都在跟進。近段時間，機器之心通報了多家新創公司、大學團隊的研究成果。

昨日，又一國產AI 對話大模型重磅登場：由清華技術成果轉化的公司智譜AI 基於GLM-130B 千億基座模型的ChatGLM 現已開啟邀請制內測。

值得一提的是，此次智譜 AI 也開源了中英雙語對話模型 ChatGLM-6B，支援在單張消費級顯示卡上進行推理使用。

#內測申請網址：chatglm.cn

據了解，ChatGLM 目前版本模型的能力提升主要來自獨特的千億基座模型GLM-130B。它是不同於 BERT、GPT-3 以及 T5 的架構，是一個包含多目標函數的自回歸預訓練模型。

2022 年8 月，清華大學聯合智譜AI 向研究界和工業界開放了擁有1300 億參數的中英雙語稠密模型GLM-130B，該模型有一些獨特的優點：

• 雙語：同時支援中文和英文；
• 高精度（英文）：在公開的英文自然語言榜單LAMBADA、MMLU 和Big-bench-lite 上優於GPT-3 175B（API: davinci，基座模型）、OPT-175B 和BLOOM-176B；
• 高精度（中文）：在7 個零樣本CLUE 資料集和5 個零樣本FewCLUE 資料集上明顯優於ERNIE TITAN 3.0 260B 和YUAN 1.0-245B；
• 快速推理：首個實現INT4 量化的千億模型，支援用一台4 卡3090 或8 卡2080Ti 伺服器進行快速且基本無損推理；
• 可複現性：所有結果（超過30個任務）皆可透過我們的開源程式碼和模型參數復現；
• 跨平台：支援在國產的海光DCU、華為昇騰910 和申威處理器及美國的英偉達晶片上進行訓練與推理。

如今， 參考ChatGPT 的設計思路，ChatGLM 在千億基座模型GLM-130B 中註入了代碼預訓練，透過有監督微調（Supervised Fine-Tuning）等技術實現人類意圖對齊。

機器之心獲得了內測邀請碼，這裡簡單和ChatGLM 進行了對話，效果如下：

它能夠理解「站CP」的實際涵義：

#給ChatGLM 一個數學問題試試：

自從學會了二元一次方程，像這種基礎的「雞兔同籠」問題就再也難不倒它了：

開源 ChatGLM-6B

ChatGLM-6B 是一個開源的、支援中英雙語問答的對話語言模型，並針對中文進行了最佳化。該模型基於 General Language Model (GLM) 架構，具有 62 億參數。結合模型量化技術，使用者可以在消費級的顯示卡上進行本地部署（INT4 量化等級下最低只需 6GB 記憶體）。 ChatGLM-6B 使用了和 ChatGLM 相同的技術，針對中文問答和對話進行了最佳化。經過約1T 標識符的中英雙語訓練，輔以監督微調、反饋自助、人類反饋強化學習等技術的加持，62 億參數的ChatGLM-6B 雖然規模不及千億模型，但大大降低了推理成本，提升了效率，並且已經能產生相當符合人類偏好的回答。

模型開源位址：https://github.com/THUDM/ChatGLM-6B

具體來說，ChatGLM-6B 具備以下特點：

• 充分的中英雙語預訓練：ChatGLM-6B 在1:1 比例的中英語料上訓練了1T 的token 量，兼具雙語能力。
• 優化的模型架構和大小：吸收 GLM-130B 訓練經驗，修正了二維 RoPE 位置編碼實現，使用傳統 FFN 結構。 6B（62 億）的參數大小，也使得研究者和個人開發者自己微調和部署 ChatGLM-6B 成為可能。
• 較低的部署門檻：FP16 半精度下，ChatGLM-6B 需要至少13 GB 的顯存進行推理，結合模型量化技術，這一需求可以進一步降低到10GB（INT8 ) 和6GB（INT4），使得ChatGLM-6B 可以部署在消費級顯示卡上。
• 更長的序列長度：相較於 GLM-10B（序列長度 1024），ChatGLM-6B 序列長度達 2048，支援更長對話和應用。
• 人類意圖對齊訓練：使用了監督微調（Supervised Fine-Tuning）、反饋自助（Feedback Bootstrap）、人類反饋強化學習（Reinforcement Learning from Human Feedback）等方式，使模型初具理解人類指令意圖的能力。輸出格式為 markdown，方便展示。

不過由於ChatGLM-6B 模型的容量較小，不可避免的存在一些限制和不足，包括：

• 相對較弱的模型記憶和語言能力。在面對許多事實性知識任務時，ChatGLM-6B 可能會產生不正確的訊息，也不太擅長邏輯類問題（如數學、程式設計）的解答。
• 可能會產生有害說明或偏見的內容：ChatGLM-6B 只是一個初步與人類意圖對齊的語言模型，可能會產生有害、有偏見的內容。
• 較弱的多輪對話能力：ChatGLM-6B 的上下文理解能力還不夠充分，在面對長答案生成和多輪對話的場景時，可能會出現上下文丟失和理解錯誤的情況。

GLM 團隊表示，ChatGLM 距離國際頂尖大模型研究和產品仍有一定差距，未來將持續研發並開源更新版本的 ChatGLM 和相關模型。 GLM 團隊也歡迎大家下載 ChatGLM-6B，基於它進行研究和（非商用）應用程式開發。

以上是清華系千億基座對話模型ChatGLM啟動內測，開源單卡版模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！