Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Llama 3 ada di sini!

Sebentar tadi, laman web rasmi Meta telah dikemas kini dan secara rasmi mengumumkan versi parameter Llama 3 8 bilion dan 70 bilion.

Dan pelancaran adalah sumber terbuka SOTA:

Data rasmi daripada Meta menunjukkan bahawa versi Llama 3 8B dan 70B mengatasi semua lawan dalam skala parameter masing-masing.

Model 8B mengatasi prestasi Gemma 7B dan Mistral 7B Arahan pada banyak penanda aras seperti MMLU, GPQA, HumanEval, dll.

Model 70B telah mengatasi Claude 3 Sonnet sumber tertutup yang popular, dan telah berulang-alik dengan Google Gemini Pro 1.5.

Sebaik sahaja pautan Huggingface keluar, komuniti sumber terbuka kembali teruja.

Pelajar buta yang bermata tajam juga menemui titik kecantikan serta-merta:

Meta malah menyembunyikan versi Llama 3 dengan 400 bilion parameter +, yang tidak lebih buruk daripada Opus super besar Claude 3!

Ketua Pegawai Eksekutif HyperWriteAI, seorang pemula pembantu penulisan AI, tidak dapat menahan nafas apabila dia melihat ini:

Kami memasuki dunia baharu, dunia di mana model tahap GPT-4 adalah sumber terbuka dan bebas. boleh diakses.

Saintis NVIDIA Jim Fan percaya bahawa Llama 3 400B, yang masih dalam latihan, akan menjadi titik permulaan untuk model besar sumber terbuka dan mengubah cara banyak penyelidikan akademik dan syarikat permulaan berkembang.

SOTA penuh, tetapi tingkap 8k

Maklumat teknikal yang lebih terperinci, Meta berikan dalam catatan blog.

Di peringkat seni bina, Llama 3 memilih seni bina Transformer penyahkod klasik sahaja, menggunakan pembahagian perkataan yang mengandungi perbendaharaan kata token 128K.

Melihat data latihan, skala data latihan Llama 3 telah mencapai 15T token, semuanya datang daripada maklumat awam, 5% daripadanya adalah data bukan bahasa Inggeris, meliputi lebih daripada 30 bahasa.

Llama 3 mempunyai 7 kali lebih banyak data latihan daripada Llama 2, dan mengandungi 4 kali lebih banyak kod daripada Llama 2.

Selain itu, untuk meningkatkan kecekapan penaakulan model Llama 3, Meta AI juga mengguna pakai mekanisme Perhatian Pertanyaan Kumpulan (GQA) untuk melatih model pada urutan 8192 token, dan menggunakan topeng untuk memastikan bahawa diri- perhatian tidak melepasi sempadan dokumen .

Hasilnya, sama ada versi 8B atau 70B, Llama 3 telah membuat lonjakan besar ke hadapan berbanding Llama 2 generasi sebelumnya dengan saiz yang sama.

Antara model skala parameter 8B dan 70B setakat ini, Llama 3 telah menjadi model SOTA baharu.

Dari segi bahasa (MMLU), pengetahuan (GPQA), pengaturcaraan (HumanEval), matematik (GSM-8K, MATH) dan keupayaan lain, Llama 3 hampir mendahului model lain dalam skala yang sama.

Selain set data biasa ini, Meta AI juga menilai prestasi Llama 3 dalam senario kehidupan sebenar dan membangunkan satu set set data ujian berkualiti tinggi untuk tujuan ini.

Set ujian ini mengandungi 1,800 keping data, meliputi 12 kes penggunaan utama seperti pengekodan, penaakulan, penulisan dan ringkasan, serta sulit kepada pasukan pembangunan.

Hasilnya, Llama 3 bukan sahaja mengatasi Llama 2 dengan ketara, malah turut mengalahkan model terkenal seperti Claude 3 Sonnet, Mistral Medium dan GPT-3.5.

Pada set data yang lebih tinggi dan lebih sukar seperti AGIEval, BIG-Bench dan ARC-Challenge, prestasi Llama 3 juga luar biasa.

Versi 8B mengatasi Mistral dan Gemma dalam tugasan ini, manakala versi 70B mengalahkan Gemini Pro dan Mixtral dengan seni bina MoE, masing-masing memenangi SOTA dengan saiz yang sepadan.

Namun, satu-satunya kelemahan ialah tetingkap konteks Llama 3 hanya 8k Berbanding dengan model besar semasa dengan berpuluh-puluh atau berjuta-juta tingkap, ia nampaknya masih tersangkut pada generasi sebelumnya (kepala anjing manual). .

Tetapi jangan terlalu risau Matt Shumer optimis tentang perkara ini. Beliau menyatakan kepercayaannya bahawa dengan usaha komuniti sumber terbuka, panjang tetingkap akan diperluaskan tidak lama lagi.

Llama mengalu-alukan versi web rasmi

Pada masa ini, versi asas dan Arahan bagi kedua-dua parameter Llama 3 tersedia di Hugging Face untuk dimuat turun.

Selain itu, platform perkhidmatan awan seperti Microsoft Azure, Google Cloud, Amazon AWS, dan NVIDIA NIM juga akan melancarkan Llama 3 satu demi satu.

Pada masa yang sama, Meta juga berkata bahawa Llama 3 akan disokong oleh platform perkakasan yang disediakan oleh Intel, Nvidia, AMD, Qualcomm dan pengeluar lain.

Perlu dinyatakan bahawa, dikeluarkan bersama model asas kali ini, terdapat juga versi Web rasmi berdasarkan Llama 3, yang dipanggil Meta AI.

Pada masa ini, platform mempunyai dua fungsi utama: dialog dan lukisan Jika anda hanya menggunakan dialog, anda tidak perlu mendaftar dan log masuk, dan ia boleh digunakan segera untuk menggunakan fungsi lukisan perlu log masuk ke akaun anda terlebih dahulu.

Walau bagaimanapun, platform pada masa ini tidak menyokong bahasa Cina, dan fungsi seperti muat naik teks masih belum dilancarkan.

Dari segi kod, platform juga boleh menjalankan beberapa program Python yang mudah, tetapi nampaknya ia hanya boleh mengeluarkan teks, dan tugas yang melibatkan lukisan tidak boleh dijalankan.

Secara amnya, versi web ini masih agak asas, tetapi anda juga boleh menantikan gelombang kemas kini berikutnya.

One More Thing

Sedikit insiden ialah sebenarnya, beberapa jam sebelum pengumuman rasmi Meta, pasaran Azure Microsoft telah pun mencuri berita versi Llama 3 8B Instruct.

Senarai harga Llama 3 pada platform pembelajaran mesin model sumber terbuka dalam talian Replicate juga segera ditarik keluar oleh netizen.

Tetapi tidak lama kemudian, "cerita cercaan" ini semuanya 404.

Nasib baik, kesilapan itu sudah selesai, dan pegawai tidak melengahkannya. Rakan-rakan yang mementingkan model besar sumber terbuka boleh mula mengelak.

参考链接：
[1]https://ai.meta.com/blog/meta-llama-3/。
[2]https://about.fb.com/news/2024 /04/meta-ai-assistant-built-with-llama-3/。
[3]https://huggingface.co/meta-llama/Meta-Llama-3-70B。