Menewaskan GPT-4o dalam beberapa saat, menewaskan Llama 3 70B dalam 22B, Mistral AI membuka model kod pertamanya

Mistral AI, penanda aras unicorn AI Perancis terhadap OpenAI, telah membuat langkah baharu: Codestral, model kod besar pertama, telah dilahirkan.

Sebagai model AI generatif terbuka yang direka khusus untuk tugas penjanaan kod, Codestral membantu pembangun menulis dan berinteraksi dengan kod dengan berkongsi arahan dan menyelesaikan titik akhir API. Kecekapan Codestral dalam pengekodan dan bahasa Inggeris membolehkan pembangun perisian mereka bentuk aplikasi AI lanjutan.

Codestral mempunyai saiz parameter 22B dan mengikut Lesen Bukan Pengeluaran Mistral AI yang baharu Ia boleh digunakan untuk tujuan penyelidikan dan ujian, tetapi penggunaan komersial adalah dilarang.

Pada masa ini, model ini tersedia untuk dimuat turun di HuggingFace.

• Alamat muat turun: https://huggingface.co/mistralai/Codestral-22B-v0.1
• alamat percubaan percuma co/LsgC84GCYw

Guillaume Lample, pengasas bersama dan ketua saintis Mistral AI, berkata Codestral boleh disepadukan dengan mudah ke dalam pemalam Kod VS.

Sesetengah pengguna membandingkan Codestral dengan GPT-4o, dan Codestral secara langsung lebih pantas daripada GPT-4o.

Mahir dalam 80+ Bahasa Pengaturcaraan

Codestral dilatih pada set data pelbagai yang mengandungi 80+ bahasa pengaturcaraan, termasuk Python, Java, C, C++, JavaScript, Bash dan bahasa pengaturcaraan popular yang lain. Ia juga berfungsi dengan baik pada bahasa pengaturcaraan seperti Swift dan Fortran.

Oleh itu, pangkalan bahasa yang luas memastikan Codestral boleh membantu pembangun dalam pelbagai persekitaran dan projek pengekodan.

Codestral boleh menulis kod, menulis ujian dan menggunakan mekanisme isi-tengah-tengah dengan cekap untuk melengkapkan mana-mana bahagian kod, menjimatkan masa dan tenaga pembangun. Menggunakan Codestral pada masa yang sama juga boleh membantu meningkatkan kemahiran pengekodan pembangun dan mengurangkan risiko ralat dan pepijat.

Standard Baharu untuk Prestasi Penjanaan Kod

Sebagai model parameter 22B, Codestral menetapkan standard baharu dari segi prestasi penjanaan kod dan ruang kepala kependaman berbanding model kod besar sebelumnya.

Seperti yang anda boleh lihat daripada Rajah 1 di bawah, panjang tetingkap konteks Codestral ialah 32k, produk pesaing CodeLlama 70B ialah 4k, DeepSeek Coder 33B ialah 16k, dan Llama 3 70B ialah 8k. Keputusan menunjukkan bahawa Codestral mengatasi model lain pada penanda aras penilaian jauh penjanaan kod RepoBench.

Mistral AI juga membandingkan Codestral dengan model khusus kod sedia ada, yang memerlukan keperluan perkakasan yang lebih tinggi.

Persembahan menggunakan Python. Para penyelidik menggunakan tanda aras HumanEval pass@1 dan MBPP sanitized pass@1 untuk menilai keupayaan penjanaan kod Python Codestral selain itu, penyelidik juga menggunakan penilaian penanda aras CruxEval dan RepoBench EM.

Prestasi pada SQL. Untuk menilai prestasi Codestral dalam SQL, para penyelidik menggunakan penanda aras Spider.

Prestasi pada bahasa pengaturcaraan lain. Para penyelidik juga menilai Codestral dalam enam bahasa pengaturcaraan lain, termasuk C++, bash, Java, PHP, Typescript, dan C#, dan mengira purata penilaian ini.

Penanda Aras FIM. Para penyelidik juga menilai keupayaan Codestral untuk melengkapkan kod apabila terdapat jurang dalam serpihan kod, terutamanya menjalankan eksperimen pada Python, JavaScript dan Java Keputusan menunjukkan bahawa pengguna boleh menjalankan kod yang dilengkapkan oleh Codestral dengan segera.

Alamat blog: https://mistral.ai/news/codestral/