Model kod sumber terbuka Mistral mengambil takhta! Codestral tergila-gila dengan latihan dalam lebih 80 bahasa, dan pembangun Tongyi domestik meminta untuk mengambil bahagian!

Dihasilkan oleh 51CTO Technology Stack (WeChat ID: blog51cto)

Mistral telah mengeluarkan model kod pertamanya Codestral-22B!

Perkara gila tentang model ini bukan sahaja ia dilatih dalam lebih 80 bahasa pengaturcaraan, termasuk Swift dan lain-lain yang banyak model kod diabaikan.

Kelajuan mereka tidak betul-betul sama. Ia dikehendaki menulis sistem "terbit/langgan" menggunakan bahasa Go. GPT-4o di sini sedang dikeluarkan, dan Codestral menyerahkan kertas dengan pantas sehingga sukar untuk dilihat!

Memandangkan model ini baru dilancarkan, ia masih belum diuji secara terbuka. Tetapi menurut orang yang bertanggungjawab ke atas Mistral, Codestral kini merupakan model kod sumber terbuka yang berprestasi terbaik. . mistral.ai/news/codestral/

Berdasarkan blog, Codestral telah mengatasi lawannya dalam teks panjang dan pelbagai ujian prestasi bahasa pengaturcaraan, termasuk 70B CodeLlama, 33B Deepseek Coder dan 70B Llama 3 70B.

Gambar

Mari kita lihat dengan lebih dekat "raja" model kod dan di mana Codestral kuat.

1. Codestral menetapkan standard untuk model kod

Sebagai model 22B, Codestral menetapkan piawaian baharu untuk ruang prestasi/kependaman penjanaan kod. Pada terasnya, Codestral 22B menampilkan panjang konteks 32K, memberikan pembangun keupayaan untuk menulis dan berinteraksi dengan kod dalam pelbagai persekitaran dan projek pengaturcaraan.

Imej

Atas: Dengan tetingkap konteks yang lebih besar iaitu 32k (berbanding dengan 4k, 8k atau 16k pesaing), Codestral mengatasi semua model lain dalam RepoBench. penilaian penjanaan kod jauh

Codestral dilatih secara gila tentang set data daripada lebih 80 bahasa pengaturcaraan, menjadikannya sesuai untuk pelbagai tugas pengaturcaraan, termasuk menjana kod dari awal, melengkapkan fungsi pengekodan, ujian menulis dan menamatkan dengan mekanisme padding perantaraan Mana-mana bahagian kod .

Bahasa pengaturcaraan yang diliputinya termasuk SQL, Python, Java, C dan C++ yang popular, serta Swift dan Fortran yang lebih spesifik, dsb., menjadi generalis dalam dunia pengaturcaraan.

Mistral berkata bahawa Codestral boleh membantu pembangun meningkatkan kemahiran pengekodan mereka, mempercepatkan aliran kerja dan menjimatkan banyak masa dan usaha semasa membina aplikasi. Apatah lagi, ia juga boleh membantu mengurangkan risiko kesilapan dan kelemahan.

Di atas: Penilaian HumanEval terhadap prestasi Codestral pada bahasa pengaturcaraan yang berbeza

Apabila menilai penjanaan kod Python pada HumanEval dan CruxEval menguji ramalan output Python, model itu memperoleh 81.1% skor pertandingan dan masing-masing melebihi 51.1% . Ia juga mencapai tempat pertama dalam HumanEval untuk Bash, Java dan PHP.

Perlu diingat bahawa prestasi model pada HumanEval untuk C++, C dan Typescript bukanlah yang terbaik, tetapi skor purata semua ujian adalah yang tertinggi pada 61.5%, lebih tinggi sedikit daripada Llama 3 70B 61.2%. Dalam penilaian Spider, yang menilai prestasi SQL, ia menduduki tempat kedua dengan skor 63.5%.

Sesetengah produktiviti pembangun popular dan alatan pembangunan aplikasi AI telah mula menguji Codestral. Ini termasuk nama besar seperti LlamaIndex, LangChain, Continue.dev, Tabnine dan JetBrains.

"Daripada ujian awal kami, ia merupakan pilihan yang baik untuk aliran kerja kod generatif kerana ia pantas, mempunyai tetingkap konteks yang menggalakkan dan membimbing penggunaan alat sokongan versi. Kami menggunakan LangGraph untuk pembetulan sendiri penjanaan kod ujian, menggunakan alat Codestral berpandu untuk digunakan untuk output, dan ia berfungsi dengan baik di luar kotak,” kata Harrison Chase, Ketua Pegawai Eksekutif dan pengasas bersama LangChain.

Selain itu, Codestral telah bekerjasama dengan beberapa rakan kongsi industri termasuk JetBrains, SourceGraph dan LlamaIndex. Jerry Liu, Ketua Pegawai Eksekutif LlamaIndex, berkata mengenai ujian Codestralnya, "Setakat ini, ia sentiasa menghasilkan kod yang sangat tepat dan boleh digunakan, walaupun untuk tugas yang rumit. Contohnya, apabila saya memintanya menyelesaikan tugasan mencipta kod When LlamaIndex baharu menanyakan fungsi enjin yang tidak membosankan, kod yang dijananya berjalan dengan lancar walaupun berdasarkan asas kod yang lebih lama."

2. Bagaimana untuk bermula dengan Codestral?

Mistral menawarkan Codestral 22B pada Hugging Face di bawah lesen bukan komersialnya sendiri, membenarkan pembangun menggunakan teknologi untuk tujuan bukan komersial, menguji dan menyokong usaha penyelidikan.

Syarikat itu juga menawarkan model melalui dua titik akhir API: codestral.mistral.ai dan api.mistral.ai.

Yang pertama direka untuk pengguna yang ingin menggunakan laluan berpandu atau isian tengah Codestral di dalam IDE. Ia disertakan dengan kunci API peringkat peribadi, tanpa had kadar organisasi biasa, dan percuma untuk digunakan dalam tempoh ujian lapan minggu. Walaupun api.mistral.ai ialah titik akhir umum untuk penyelidikan yang lebih luas, pertanyaan kelompok atau pembangunan aplikasi pihak ketiga, pertanyaan akan dibilkan setiap token.

Apa yang lebih menarik ialah Mistral telah mengeluarkan versi berpandu Codestral di Le Chat, membenarkan akses kepada Codestral melalui antara muka perbualan percuma mereka Le Chat. Pembangun boleh berinteraksi dengan Codestral secara semula jadi dan intuitif, memanfaatkan sepenuhnya keupayaan model. .

Dalam ujian HumanEval, skor versi CodeQwen1.5-7B-Chat malah melebihi versi awal GPT-4 dan lebih rendah sedikit daripada GPT-4-Turbo (versi November 2023).

Pictures

Pembangun CodeQwen Binyuan Hui tidak lupa mengingatkan Lian Guillaume Lample Mistral apabila mengucapkan tahniah untuk membawa Tongyi untuk menilai bersama-sama!

Gambar

Dianggarkan kita akan menyaksikan CodeQwen1.5-7B dan Codestral tidak lama lagi bersaing di arena.

Untuk mengetahui lebih lanjut tentang AIGC, sila layari:

51CTO AI.x Communityhttps://www.51cto.com/aigc/