Mistral オープン ソース コード モデルが王位を獲得します。 Codestral は 80 を超える言語でのトレーニングに熱心に取り組んでおり、国内の Tongyi 開発者が参加を求めています。

51CTO Technology Stack (WeChat ID: blog51cto) が制作

Mistral が最初のコードモデル Codestral-22B をリリースしました!

このモデルのクレイジーな点は、多くのコード モデルが無視する Swift などを含む 80 以上のプログラミング言語でトレーニングされていることだけではありません。

それらの速度はまったく同じではありません。 Go言語を使用して「パブリッシュ/サブスクライブ」システムを記述する必要があります。ここでは GPT-4o が出力されており、Codestral は、見るのが難しいほど高速で論文を提出しています。

このモデルは発売されたばかりのため、まだ公的にテストされていません。しかし、Mistral の担当者によると、Codestral は現在最もパフォーマンスの高いオープンソース コード モデルであるとのことです。

写真

興味のあるお友達は、次の場所に移動できます:

-Hugging Face: https://huggingface.co/mistralai/Codestral-22B-v0.1

-ブログ: https :// misstral.ai/news/codestral/

ブログから判断すると、Codestral は、70B CodeLlama、33B Deepseek Coder、70B Llama 3 70B など、長文テキストと複数のプログラミング言語のパフォーマンス テストで競合他社を上回っています。

写真

コードモデルの「王様」とCodestralがどこに強いのかを詳しく見てみましょう。

1. Codestral はコード モデルの標準を設定します

Codestral は 22B モデルとして、コード生成のパフォーマンス/レイテンシー空間の新しい標準を設定します。 Codestral 22B の核となるのは 32K のコンテキスト長を特徴としており、開発者はさまざまなプログラミング環境やプロジェクトでコードを作成および操作できるようになります。

画像

上: 32k というより大きなコンテキスト ウィンドウ (競合他社の 4k、8k、または 16k とは対照的に) を備えた Codestral は、コード生成のリモート評価である RepoBench の他のすべてのモデルを上回っています。

Codestral は 80 を超えるプログラミング言語のデータセットで非常にトレーニングされており、コードを最初から生成する、コーディング関数を完了する、テストを作成する、中間パディング メカニズムで仕上げるなど、さまざまなプログラミング タスクに適しています。コードの任意の部分。

カバーするプログラミング言語には、人気のある SQL、Python、Java、C、C++ だけでなく、より具体的な Swift や Fortran などが含まれており、プログラミングの世界のジェネラリストになります。

ミストラル氏は、Codestral は開発者がコーディング スキルを向上させ、ワークフローをスピードアップし、アプリケーションを構築する際の時間と労力を大幅に節約するのに役立つと述べました。言うまでもなく、エラーや脆弱性のリスクを軽減するのにも役立ちます。

上: さまざまなプログラミング言語での Codestral パフォーマンスの HumanEval 評価

HumanEval および CruxEval テストの Python 出力予測で Python コード生成を評価すると、モデルはそれぞれ 81.1% と 51.3% のスコアを獲得し、競合製品を上回りました。 Bash、Java、PHP の HumanEval でも 1 位を獲得しました。

C++、C、および Typescript の HumanEval でのモデルのパフォーマンスは最高ではありませんが、すべてのテストの平均スコアは 61.5% で最高で、Llama 3 70B の 61.2% よりわずかに高いことに注目してください。 SQLのパフォーマンスを評価するSpider評価では63.5％のスコアで2位となった。

一部の人気のある開発者の生産性向上および AI アプリケーション開発ツールが Codestral のテストを開始しました。これには、LlamaIndex、LangChain、Continue.dev、Tabnine、JetBrains などの有名企業が含まれます。

「最初のテストから、高速で、有利なコンテキスト ウィンドウがあり、バージョン サポート ツールの使用方法をガイドしてくれるため、生成コード ワークフローには良い選択です。テストの自己修正コード生成には LangGraph を使用しました。 LangChain の CEO 兼共同創設者である Harrison Chase 氏は次のように述べています。

さらに、Codestral は、JetBrains、SourceGraph、LlamaIndex などのいくつかの業界パートナーと協力しています。 LlamaIndex の CEO である Jerry Liu 氏は、Codestral のテストについて次のように述べています。「これまでのところ、複雑なタスクであっても、常に非常に正確で使いやすいコードが生成されています。たとえば、新しい When LlamaIndex を作成するタスクを完了するように依頼したとき、エンジンの退屈でない機能をクエリすると、生成されるコードは、古いコード ベースに基づいているにもかかわらず、シームレスに動作します。」

2. Codestral を使い始めるにはどうすればよいですか?

Mistral は、独自の非営利ライセンスに基づいて Hugging Face で Codestral 22B を提供し、開発者が非営利目的でテクノロジーを使用し、研究活動をテストおよびサポートできるようにします。

同社は、codestral.mistral.ai と api.mistral.ai という 2 つの API エンドポイントを通じてモデルも提供しています。

前者は、IDE 内で Codestral のガイド付きルートまたはミドルフィル ルートを使用したいユーザー向けに設計されています。これには個人レベルの API キーが付属しており、通常の組織のレート制限はなく、8 週間のテスト期間中は無料で使用できます。 api.mistral.ai は広範な調査、バッチ クエリ、またはサードパーティ アプリケーション開発のための一般的なエンドポイントですが、クエリはトークンごとに課金されます。

さらに興味深いのは、Mistral が Le Chat で Codestral のガイド付きバージョンをリリースし、無料の会話インターフェイス Le Chat を通じて Codestral にアクセスできるようになったということです。開発者は、モデルの機能を最大限に活用して、Codestral を自然かつ直感的に操作できます。

3. 最後に書きました

アリババが少し前にオープンソース化した70億パラメータの大型モデルCodeQwen1.5-7Bなど、国産の大型モデルの中でも驚異的な性能を持つコードモデルもあります。

HumanEval テストでは、CodeQwen1.5-7B-Chat バージョンのスコアは GPT-4 の初期バージョンをも上回り、GPT-4-Turbo (2023 年 11 月バージョン) よりわずかに低かったです。

写真

CodeQwen の開発者である Binyuan Hui 氏は、Mistral の共同作成者である Guillaume Lample 氏に、一緒に評価してもらうために Tongyi 氏を連れてくるよう祝福することを忘れませんでした。

写真

CodeQwen1.5-7B と Codestral がアリーナで競争するのが間もなく見られると推定されています。

AIGC について詳しくは、こちらをご覧ください:

51CTO AI.x コミュニティ

https://www.51cto.com/aigc/