Llama 3 lwn. GPT-4: Mana Yang Lebih Baik?

Llama 3 dan GPT-4 ialah dua model bahasa besar (LLM) tercanggih yang tersedia kepada orang ramai. Mari lihat LLM yang lebih baik dengan membandingkan kedua-dua model dari segi multimodaliti, panjang konteks, prestasi dan kos.

Apakah GPT-4?

GPT-4 ialah model bahasa besar (LLM) terbaharu yang dibangunkan oleh OpenAI. Ia dibina di atas asas model GPT-3 yang lebih lama sambil menggunakan teknik latihan dan pengoptimuman yang berbeza menggunakan set data yang lebih besar. Ini dengan ketara meningkatkan saiz parameter GPT-4, yang dikhabarkan mempunyai jumlah gabungan 1.7 trilion parameter daripada model pakarnya yang lebih kecil. Dengan latihan baharu, pengoptimuman dan bilangan parameter yang lebih besar, GPT-4 menyediakan penambahbaikan dalam penaakulan, penyelesaian masalah, pemahaman konteks dan pengendalian arahan bernuansa yang lebih baik.

Pada masa ini terdapat tiga variasi model:

• GPT-4: Evolusi daripada GPT-3 dengan peningkatan yang ketara dalam kelajuan, ketepatan dan asas pengetahuan.
• GPT-4 Turbo: Versi GPT-4 yang dioptimumkan, direka bentuk untuk menyampaikan prestasi yang lebih pantas di samping mengurangkan kos operasi.
• GPT-4o (Omni): Meluaskan keupayaan GPT-4 dengan menyepadukan input dan output berbilang mod, termasuk teks, penglihatan dan audio.

Kini anda boleh mengakses ketiga-tiga model GPT-4 dengan melanggan perkhidmatan API OpenAI, berinteraksi dengan ChatGPT atau melalui perkhidmatan seperti Descript, Perplexity AI dan pelbagai copilot daripada Microsoft.

Apakah Llama 3?

Llama 3 ialah LLM sumber terbuka yang dibangunkan oleh Meta AI (syarikat induk Facebook, Instagram dan WhatsApp), dilatih menggunakan gabungan penalaan halus yang diselia, pensampelan penolakan dan pengoptimuman dasar dengan set data yang pelbagai termasuk berjuta-juta contoh beranotasi manusia. Latihannya memfokuskan pada gesaan dan kedudukan keutamaan berkualiti tinggi, yang bertujuan untuk mencipta model AI yang serba boleh dan berkebolehan.

Pada masa ini terdapat dua model Llama 3 tersedia untuk orang ramai: Llama 3 8B dan Llama 3 70B. “B” bermaksud bilion, menunjuk kepada saiz parameter model. Meta juga sedang melatih model Llama 3 400B, dijangka dilancarkan lewat 2024.

Anda boleh mengakses Llama 3 melalui Meta AI, bot sembang AI generatifnya. Sebagai alternatif, anda boleh menjalankan LLM secara setempat pada komputer anda dengan memuat turun model Llama 3 dan memuatkannya melalui Ollama, Open WebUI atau LM Studio.

Multimodality

Pengeluaran GPT-4o akhirnya telah menyampaikan pemasaran awal GPT-4 yang mempunyai keupayaan multimodal. Ciri multimodal ini kini boleh diakses dengan berinteraksi dengan ChatGPT menggunakan model GPT-4o. Mulai Jun 2024, GPT-4o tidak mempunyai sebarang cara bersepadu untuk menjana video dan audio. Walau bagaimanapun, ia mempunyai keupayaan untuk menjana teks dan imej berdasarkan input video dan audio.

Llama 3 juga merancang untuk menyediakan model multimodal untuk Llama 3 400B yang akan datang. Ia berkemungkinan besar akan menyepadukan teknologi serupa dengan CLIP (Contrast Language-Imager Pra-Training) untuk menjana imej menggunakan teknik pembelajaran sifar tangkapan. Tetapi memandangkan Llama 400B masih dalam latihan, satu-satunya cara untuk model 8B dan 70B menjana imej adalah dengan menggunakan sambungan seperti LLaVa, Visual-LLaMA dan LLaMA-VID. Buat masa ini, Llama 3 hanyalah model berasaskan bahasa yang boleh mengambil teks, imej dan audio sebagai input untuk menjana teks.

Panjang Konteks

Panjang konteks merujuk kepada jumlah teks yang boleh diproses oleh model sekali gus. Ia merupakan faktor penting apabila mempertimbangkan keupayaan LLM kerana ia menentukan jumlah konteks yang boleh digunakan oleh model apabila berinteraksi dengan pengguna. Secara umum, panjang konteks yang lebih tinggi menjadikan LLM lebih baik kerana ia menyediakan tahap keselarasan, kesinambungan yang lebih tinggi dan boleh mengurangkan ulangan ralat semasa interaksi.

Model Llama 3 menampilkan panjang konteks sebanyak 8,000 token (kira-kira 6,400 patah perkataan). Ini bermakna model Llama 3 akan mempunyai memori konteks sekitar 6,400 perkataan dalam interaksi anda. Sebarang perkataan yang melepasi had 8,000 token akan dilupakan dan tidak akan memberikan sebarang konteks lanjut semasa interaksi.

Sebaliknya, GPT-4 kini menyokong panjang konteks yang jauh lebih besar iaitu 32,000 token (sekitar 25,600 perkataan) untuk pengguna ChatGPT dan 128,000 token (sekitar 102,400 perkataan) untuk mereka yang menggunakan titik akhir API. Ini memberikan model GPT-4 kelebihan dalam mengurus perbualan yang meluas dan keupayaan untuk membaca dokumen yang panjang atau bahkan melalui keseluruhan buku.

Prestasi

Mari kita bandingkan prestasi dengan melihat Llama 3 18 April 2024, laporan penanda aras daripada Meta AI dan GPT-4 14 Mei 2024, laporan GitHub oleh OpenAI. Berikut ialah keputusannya:

Berikut ialah perkara yang dinilai oleh setiap kriteria:

• MMLU (Pemahaman Bahasa Berbilang Tugas Besar-besaran): Menilai keupayaan model untuk memahami dan menjawab soalan merentasi pelbagai bidang akademik mata pelajaran.
• GPTQA (Menjawab Soalan Tujuan Am): Menilai kemahiran model dalam menjawab soalan fakta domain terbuka
• MATH: Uji kebolehan model untuk menyelesaikan masalah matematik.
• HumanEval: Mengukur keupayaan model untuk menjana kod yang betul berdasarkan gesaan pengaturcaraan yang diberikan oleh manusia.
• DROP (Discrete Reasoning Over Perenggan): Menilai keupayaan model untuk melakukan penaakulan diskret dan menjawab soalan berdasarkan petikan teks.

Tanda aras terkini menyerlahkan perbezaan prestasi antara model GPT-4 dan Llama 3. Walaupun model Llama 3 8B nampaknya ketinggalan dengan ketara, model 70B dan 400B memberikan hasil yang lebih rendah tetapi serupa kepada kedua-dua model GPT-4o dan GPT-4 Turbo dari segi pengetahuan akademik dan am, pembacaan dan pemahaman, penaakulan dan logik, dan pengekodan. Walau bagaimanapun, tiada model Llama 3 yang masih lagi menghampiri prestasi GPT-4 dari segi matematik tulen.

Kos

Kos adalah kritikal faktor untuk ramai pengguna. Model GPT-4o OpenAI tersedia untuk semua pengguna ChatGPT secara percuma pada had 16 mesej setiap 3 jam. Jika anda memerlukan lebih banyak lagi, maka anda perlu melanggan ChatGPT Plus, yang berharga $20 USD sebulan untuk mengembangkan had mesej GPT-4o kepada 80 sambil turut mempunyai akses kepada model GPT-4 yang lain.

Hidup Sebaliknya, kedua-dua model Llama 3 8B dan 70B adalah percuma dan sumber terbuka, yang boleh menjadi kelebihan yang ketara untuk pembangun dan penyelidik yang mencari penyelesaian yang kos efektif tanpa berkompromi pada prestasi.

Kebolehcapaian

Model GPT-4 boleh diakses secara meluas melalui chatbot AI generatif ChatGPT OpenAI dan melalui APInya. Anda juga boleh menggunakan GPT-4 pada Microsoft Copilot, iaitu satu cara anda boleh menggunakan GPT-4 secara percuma. Ketersediaan yang meluas ini memastikan pengguna boleh memanfaatkan keupayaannya dengan mudah merentas kes penggunaan yang berbeza. Sebaliknya, Llama 3 ialah projek sumber terbuka yang menyediakan fleksibiliti model dan menggalakkan percubaan dan kerjasama yang lebih luas dalam komuniti AI. Pendekatan akses terbuka ini boleh mendemokrasikan teknologi AI, menjadikannya tersedia kepada khalayak yang lebih luas.

Walaupun kedua-dua model tersedia, GPT-4 lebih mudah digunakan kerana ia disepadukan ke dalam alatan dan perkhidmatan produktiviti yang popular . Sebaliknya, Llama 3 terutamanya disepadukan ke dalam platform penyelidikan dan perniagaan seperti Amazon Bedrock, Ollama dan DataBricks (kecuali bantuan sembang Meta AI), yang tidak menarik kepada pasaran pengguna bukan teknikal yang lebih besar.

GPT-4 lwn. Llama 3: Mana Yang Lebih Baik?

Jadi, LLM yang manakah lebih baik? Saya perlu mengatakan bahawa GPT-4 adalah LLM yang lebih baik. GPT-4 cemerlang dalam pelbagai mod dengan keupayaan lanjutan dalam mengendalikan input teks, imej dan audio, manakala ciri serupa Llama 3 masih dalam pembangunan. GPT-4 juga menawarkan panjang konteks yang lebih besar dan prestasi yang lebih baik serta boleh diakses secara meluas melalui alatan dan perkhidmatan popular, menjadikannya lebih mesra pengguna.

Walau bagaimanapun, adalah penting untuk menyerlahkan bahawa model Llama 3 telah menunjukkan prestasi yang sangat baik. untuk projek percuma dan sumber terbuka. Akibatnya, Llama 3 kekal sebagai LLM yang menonjol, digemari oleh penyelidik dan perniagaan kerana sifatnya yang bebas kos dan sumber terbuka sambil memberikan prestasi yang mengagumkan, fleksibiliti dan ciri privasi yang boleh dipercayai. Walaupun pengguna umum mungkin tidak menemui penggunaan segera untuk Llama 3, ia kekal sebagai pilihan yang paling berdaya maju untuk kebanyakan penyelidik dan perniagaan.

Kesimpulannya, walaupun GPT-4 menonjol untuk keupayaan multimodal termaju, panjang konteks yang lebih besar dan penyepaduan yang lancar ke dalam alatan yang digunakan secara meluas, Llama 3 menawarkan alternatif yang berharga dengan sifat sumber terbukanya, membolehkan penyesuaian yang lebih besar dan penjimatan kos. Jadi, dari segi aplikasi, GPT-4 sesuai untuk mereka yang mencari kemudahan penggunaan dan ciri komprehensif dalam model, manakala Llama 3 sangat sesuai untuk pembangun dan penyelidik yang mencari fleksibiliti dan kebolehsuaian.