首頁 > 科技週邊 > 人工智慧 > 速度秒掉GPT-4o、22B擊敗Llama 3 70B,Mistral AI開放首個代碼模型

速度秒掉GPT-4o、22B擊敗Llama 3 70B,Mistral AI開放首個代碼模型

WBOY
發布: 2024-06-01 18:32:04
原創
446 人瀏覽過

對標 OpenAI 的法國 AI 獨角獸 Mistral AI 有了新動作:首個程式碼大模型 Codestral 誕生了。

速度秒掉GPT-4o、22B击败Llama 3 70B,Mistral AI开放首个代码模型

作為專為程式碼產生任務設計的開放式產生AI 模型,Codestral 透過共享指令和補全API 端點幫助開發人員編寫並與程式碼互動。 Codestral 精通程式碼和英語,因而可為軟體開發人員設計高階 AI 應用程式。

Codestral 的參數規模為 22B,遵循新的 Mistral AI Non-Production License,可以用於研究和測試目的,但禁止商用。

速度秒掉GPT-4o、22B击败Llama 3 70B,Mistral AI开放首个代码模型

目前,該模型可以在 HuggingFace 上下載。

速度秒掉GPT-4o、22B击败Llama 3 70B,Mistral AI开放首个代码模型


  • #下載網址:https://huggingface .co/mistralai/Codestral-22B-v0.1
  • #免費試用網址:https://t.co/LsgC84GCYw

#Mistral AI 共同創辦人、首席科學家Guillaume Lample 表示,Codestral 可以輕鬆整合到VS Code 外掛程式中。

速度秒掉GPT-4o、22B击败Llama 3 70B,Mistral AI开放首个代码模型

有使用者將 Codestral 與 GPT-4o 進行了比較,Codestral 速度直接秒了 GPT-4o。

速度秒掉GPT-4o、22B击败Llama 3 70B,Mistral AI开放首个代码模型

精通80 + 程式語言

#Codestral 在包含了80 + 種程式語言的多樣化資料集上訓練,包括Python、Java、C、C++、JavaScript、Bash 等流行程式語言。另外也在 Swift 和 Fortran 等程式語言上表現良好。

因此,廣泛的語言基礎確保 Codestral 可以在各種編碼環境和專案中為開發人員提供協助。

Codestral 可以勝任編寫程式碼、 編寫測試並使用中間填充(fill-in-the-middle)機制補全任何程式碼部分,為開發人員節省時間和精力。同時使用 Codestral,也有助於提升開發人員的編碼水平,降低錯誤和 bug 風險。

程式碼產生效能新標準

作為一個22B 參數的模型,Codestral 與以往的程式碼大模型相比,在程式碼產生效能和延遲空間方面樹立了新標準。

從下圖 1 可以看到,Codestral 的上下文視窗長度為 32k,競品 CodeLlama 70B 為 4k、DeepSeek Coder 33B 為 16k、Llama 3 70B 為 8k。結果顯示,在程式碼產生遠端評估基準 RepoBench 上,Codestral 的表現優於其他模型。

速度秒掉GPT-4o、22B击败Llama 3 70B,Mistral AI开放首个代码模型

Mistral AI 也將Codestral 與現有的特定於程式碼的模型進行了比較,後者需要較高的硬體需求。

在 Python 上的表現。研究者使用 HumanEval pass@1、MBPP sanitised pass@1 基準來評估 Codestral 的 Python 程式碼產生能力;除此之外,研究者還用到了 CruxEval、RepoBench EM 基準評估。

在 SQL 上的表現。為了評估 Codestral 在 SQL 中的效能,研究者使用了 Spider 基準測試。

在其他程式語言上的表現。研究者還在其他六種程式語言(包括 C++、bash、Java、PHP、Typescript 和 C#)中對 Codestral 進行了評估,並計算了這些評估的平均值。 

#

速度秒掉GPT-4o、22B击败Llama 3 70B,Mistral AI开放首个代码模型

FIM 基準。研究者也評估了 Codestral 在程式碼片段中間有缺少的情況下補全程式碼的能力,主要是在 Python、JavaScript 和 Java 上進行實驗,結果顯示,Codestral 補全的程式碼,使用者可以立即執行。

速度秒掉GPT-4o、22B击败Llama 3 70B,Mistral AI开放首个代码模型

部落格網址:https://mistral.ai/news/codestral/

以上是速度秒掉GPT-4o、22B擊敗Llama 3 70B,Mistral AI開放首個代碼模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新問題
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板