Mistral 開源程式碼模型奪得王座！ Codestral瘋狂訓練超80種語言，國內通義開發者請求出戰！

出品 | 51CTO技術堆疊（微訊號：blog51cto）

Mistral 發布了首個程式碼模型 Codestral-22B！

該模型的瘋狂之處不僅在於訓練了80多種程式語言，包括許多程式碼模型忽略的Swift等。

他們的速度沒有完全一致。要求使用Go語言編寫一個「發布/訂閱」系統。這裡的GPT-4o正在輸出，Codestral已經快到看不清楚的速度交捲了！

由於模型剛推出，因此尚未公開測試。但根據Mistral的負責人說法， Codestral是目前表現最佳的開源程式碼模型。

圖片

#有興趣的朋友可以移步：

-抱抱臉：https://huggingface.co/mistralai/Codestral-22B-v0.1

-部落格：https://mistral.ai/news/codestral/    

#從部落格來看，Codestral在長文本以及多種程式語言的效能測試中都超過了對手，包括70B的CodeLlama、33B的Deepseek Coder和70B的Llama 3 70B。

圖片

#下面來一起細緻地看看程式碼模型的“王”，Codestral強在何處。

1.Codestral要為程式碼模型立標準

作為22B 機型，Codestral 為程式碼產生的效能/延遲空間設定了一個新標準。在核心上，Codestral 22B具有32K的上下文長度，為開發人員提供了在各種程式設計環境和專案中編寫和與程式碼互動的能力。

圖片

上圖：Codestral 擁有32k 的較大上下文視窗（不同於競爭對手的4k、8k 或16k ），在程式碼產生的遠端評估RepoBench 中優於所有其他模型。

Codestral近乎瘋狂地在超過80種程式語言的資料集上進行了訓練，這使其適合於各種程式設計任務，包括從頭開始生成程式碼、完成編碼功能、編寫測試和使用中間填充機製完成任何部分程式碼。

它涵蓋的程式語言包括流行的SQL、Python、Java、C和C++，以及更特定的Swift和Fortran等，成為程式設計界的多面手。

Mistral表示，Codestral可以幫助開發人員提升他們的編碼水平，加速工作流程，並在建立應用程式時節省大量的時間和努力。更不用說，它還可以幫助減少錯誤和漏洞的風險。

上圖：Codestral效能在不同程式語言上的HumanEval評估

##在HumanEval上評估Python程式碼產生和CruxEval測試Python輸出預測時，模型分別以81.1%和51.3%的分數超越了競爭對手。它甚至在Bash、Java和PHP的HumanEval上也都取得了第一名。

值得注意的是，模型在C++、C和Typescript的HumanEval上的表現並不是最好的，但所有測試的平均分數最高，為61.5%，略高於Llama 3 70B的61.2%。在評估SQL效能的Spider評估中，它以63.5%的分數排名第二。

一些流行的開發人員生產力和人工智慧應用開發工具已經開始測試Codestral。這包括LlamaIndex、LangChain、Continue.dev、Tabnine和JetBrains等大名鼎鼎的名字。

「從我們的初步測試來看，它是一個生成程式碼工作流程的好選擇，因為它快速，有有利的上下文窗口，並且指導版本支援工具使用。我們使用LangGraph進行了自我修正程式碼產生的測試，使用指導Codestral工具使用進行輸出，並且它開箱即用效果非常好，」LangChain的執行長兼聯合創始人Harrison Chase說。

#

另外，Codestral已經與JetBrains、SourceGraph和LlamaIndex在內的幾家產業夥伴展開合作。 LlamaIndex的CEO Jerry Liu提到他對Codestral的測試說，「到目前為止，它始終能產生高度準確和實用的程式碼，即使是複雜的任務也不例外。例如，當我要求它完成一個創建新的LlamaIndex 查詢引擎的非繁瑣函數時，它產生的程式碼儘管基於較舊的程式碼庫，卻能無縫運行。

Mistral在Hugging Face上提供Codestral 22B，在自己的非商業許可下，允許開發人員將該技術用於非商業目的、測試和支援研究工作。

該公司也透過兩個API端點提供此模型：codestral.mistral.ai和api.mistral.ai。   

前者是為希望在IDE內部使用Codestral的指導或中間填滿路線的使用者設計。它配有個人級別的API密鑰，沒有通常的組織速率限制，在八週的測試期間免費使用。而api.mistral.ai是更廣泛的研究、批量查詢或第三方應用開發的常規端點，將每個Token的查詢計費。

比較有趣的是，Mistral Le Chat 上公開了 Codestral 的指導版本，允許透過他們免費的對話介面 Le Chat 存取Codestral。開發人員可以自然、直觀地與 Codestral 互動，充分利用該模型的功能。

3.寫在最後

#國產大模型中同樣有表現驚豔的程式碼模型，例如阿里不久前開源的70億參數大模型CodeQwen1.5-7B。

在HumanEval測試中，CodeQwen1.5-7B-Chat版本的得分甚至超過了GPT-4早期版本，比GPT-4-Turbo（2023年11月版本）略低。

圖片

#CodeQwen的開發者Binyuan Hui在祝賀時不忘提醒Mistral的聯創Guillaume Lample，帶著通義一起評測下！

圖片

#估計我們很快就能看到CodeQwen1.5-7B與Codestral在競技場上一決高下了。

想了解更多AIGC的內容，請造訪：

51CTO AI.x社群

https://www.51cto.com/aigc/

#