Xiao ZhaはCode Llamaの重量アップデートを正式に発表し、70Bバージョンを追加しましたが、容量制限はまだあります

より強力なCode Llama 70Bモデルが登場しました。

本日、メタは、Code Llama シリーズ史上最大かつ最高のパフォーマンスを誇るモデルである Code Llama 70B を正式に発売します。

私たちは、より大きな 70B パラメータ モデルを含む Code Llama の改良版をオープンソース化しています。コードの作成と編集は、最新の人工知能モデルの最も重要な用途の 1 つになっています。 AI モデルにとって、他の分野の情報をより厳密かつ合理的に処理するには、コードを書く能力が鍵となることがわかりました。私はこの開発を非常に誇りに思っており、Llama 3 および将来のモデルに組み込むことを楽しみにしています。

Code Llama 70B は、以前にリリースされた Code Llama モデルと同じ 3 つのバージョンで利用できます:

• CodeLlama - 70B、基本コード モデル;
• CodeLlama - 70B - Python、Python 専用の 70B;
• Code Llama - 70B - 自然言語命令を理解するために微調整された命令 70B。

Code Llama はもともと、2023 年 8 月に Meta によって発売されたツールで、研究および商用利用は無料です。

Meta AI のブログ投稿によると、Code Llama 70B は他のバージョンよりも多くのクエリを処理できるため、開発者はプログラミング時により多くのヒントを提供できることになります。正確な。

HumanEval ベンチマーク テストでは、Code Llama 70B の精度は 53% に達し、GPT-3.5 の 48.1% よりも優れており、GPT にさらに近づいています。 OpenAI の論文レポートでは 67% で 4 位にランクされています。

Code Llama は Llama 2 に基づいて構築されており、開発者がプロ​​ンプトからコードを作成し、人間が書いたコードをデバッグするのに役立ちます。リリースの冒頭でメタ氏は、Code LlamaのオープンソースライセンスはLlama 2と同じであり、Code Llama 70Bと同様に研究および商業目的には無料であると述べた。

当時、Code Llama シリーズのモデルには 3 つのバージョンがあり、それぞれパラメータ量が 7B、13B、34B でした。また、Python、C、Java、PHP、Typescript (Javascript)、C#、Bash などの複数のプログラミング言語をサポートします。

#Meta が提供する Code Llama バージョンには次のものが含まれます:

• #Code Llama、基本コード モデル;
• Code Llama-Python (Python の微調整バージョン);
• Code Llama-Instruct (Natural の微調整バージョン)言語の指示。

#そのうち、後の 2 つのモデルは特定のコーディング言語に焦点を当てています。 Code Llama 70B がこのモデル ファミリに追加され、コーディング タスクを別のレベルに引き上げました。

Code Llama 70B は、コード リポジトリ Hugging Face でホストされている 1 TB のコードおよびコード関連データでトレーニングされています。

Meta によれば、より大きなモデルである 34B モデルと 70B モデルは最良の結果を返し、より優れたコーディング支援を提供します。

しかし、開発者の経験では、Code Llama 70B にはまだ明らかな欠点があります。

たとえば、コード ラマ 70B が素数を生成するリクエストを完了できないことが判明した人がいます:

この制限は、不正な素数の生成などの悪い使用を避けるためであると言う人もいます。違法プライムは、所有または配布が禁止されている素材を表すために使用される可能性があり、そのようなプログラムの配布は米国デジタル ミレニアム著作権法の下で違法です。

^{参考リンク: https://www.theverge.com/2024/1/29/24055011/meta-llama2-code-generator-generative-ai}

関連記事

• リリースから 1 日後、Code Llama のコーディング機能は飛躍的に向上し、微調整された機能が追加されました。 GPT-4 でスコア付けされた HumanEval のバージョン
• 公式コード Llama オープン ソース: 商用利用は無料、謎のバージョンは GPT-4 に近い
#

以上がXiao ZhaはCode Llamaの重量アップデートを正式に発表し、70Bバージョンを追加しましたが、容量制限はまだありますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。