Apakah model bahasa sumber terbuka TII Falcon 180B?

Institut Inovasi Teknologi (TII) telah memberikan sumbangan besar kepada komuniti sumber terbuka dengan pengenalan model bahasa besar (LLM) baharu yang dipanggil Falcon. Dengan 18 bilion parameter yang mengagumkan, model ini ialah LLM generatif yang tersedia dalam pelbagai versi, termasuk model AI parameter Falcon 180B, 40B, 7.5B dan 1.3B.

Apabila Falcon 40B dilancarkan, ia dengan cepat mendapat pengiktirafan sebagai model AI sumber terbuka teratas dunia. Versi Falcon ini, dengan 4 bilion parameter, telah dilatih pada trilion token yang mengejutkan. Dalam tempoh dua bulan sejak pelancarannya, Falcon 40B telah mengungguli kedudukan model bahasa besar (LLM) sumber terbuka Hugging Face. Apa yang membezakan Falcon 40B ialah ia bebas royalti sepenuhnya dan merupakan langkah revolusioner untuk membantu mendemokrasikan AI dan menjadikannya teknologi yang lebih inklusif.

Falcon 40B LLM adalah berbilang bahasa dan berfungsi dalam pelbagai bahasa termasuk Inggeris, Jerman, Sepanyol, Perancis, Itali, Portugis, Poland, Belanda, Romania, Czech dan Sweden. LLM asas ini berfungsi sebagai model asas umum yang boleh diperhalusi untuk memenuhi keperluan atau matlamat tertentu.

Falcon 180B Sumber Terbuka Sarjana Undang-undang

Falcon 180B ialah model bahasa yang sangat berkuasa dengan 18 bilion parameter, dilatih menggunakan 3.5 trilion token. Ia kini mendahului kedudukan peluk wajah bagi model bahasa terbuka berskala besar terlatih yang tersedia untuk penyelidikan dan kegunaan komersial. Model ini berprestasi baik dalam pelbagai tugas termasuk penaakulan, pengekodan, ujian kecekapan dan pengetahuan, malah pesaing yang berprestasi tinggi seperti LLaMA 2 Meta.

Dalam model sumber tertutup, Falcon 180B berada di tempat kedua selepas GPT 4 OpenAI, dengan prestasi setanding dengan PaLM 2 Google, yang memberi kuasa kepada Bard walaupun saiznya Hanya separuh saiz model. Ini menunjukkan kualiti model, kerana LLM sangat sensitif terhadap data yang mereka latih. Pasukan TII membina saluran paip data tersuai menggunakan penapisan dan penyahduplikasian yang meluas untuk mengekstrak data pra-latihan berkualiti tinggi, yang dilaksanakan pada peringkat sampel dan peringkat rentetan.

Untuk menggalakkan penggunaan model yang inovatif, Falcon 40B telah melancarkan "Call for Proposals" daripada saintis, penyelidik dan inovator. Kes penggunaan yang paling khusus akan menerima pelaburan dalam melatih kuasa pengkomputeran untuk mengkaji model berkuasa untuk membentuk penyelesaian transformatif. Terutama, model ini hanya menggunakan 3% daripada pengiraan latihan GPT-75, 40% Totoro AI, dan 62% daripada PaLM-80B.

Salah satu faktor penting dalam pembangunan Falcon ialah kualiti data latihan. Data pra-latihan yang dikumpul untuk Falcon 40B ialah hampir 80 trilion token, dikumpulkan daripada pelbagai sumber termasuk perangkak web awam (~%), kertas penyelidikan, teks undang-undang, kewartawanan, kesusasteraan dan perbualan media sosial.

Dilatih menggunakan 3.5 Trilion Token

Proses latihan model Falcon melibatkan penggunaan serentak 4096 GPU, berjumlah kira-kira 70,000 GPU sejam set data latihan Falcon terdiri daripada data web, ditambah dengan koleksi kandungan yang dipilih susun, termasuk perbualan, kertas teknikal, Wikipedia dan koleksi kecil kod. Model ini telah diperhalusi untuk pelbagai set data perbualan dan pengajaran, tidak termasuk penggunaan yang dihoskan.

Walaupun prestasinya mengagumkan, model Falcon tidak mempunyai maklumat terkini tentang acara terkini. Walau bagaimanapun, keluaran model Falcon dilihat sebagai kemajuan besar dalam bidang sumber terbuka, mengatasi prestasi model lain seperti Llama 2, LM Stable, Red Pajama, NPT, dan lain-lain pada pelbagai penanda aras. Model ini 5.2 kali lebih besar daripada Llama 2 dan mengatasi prestasi Llama 2, model GPT 3.5 OpenAI dan Google Palm pada pelbagai penanda aras. Ini menjadikannya alat yang berkuasa untuk penyelidikan dan kegunaan komersial, serta sumbangan penting kepada komuniti sumber terbuka.

Atas ialah kandungan terperinci Apakah model bahasa sumber terbuka TII Falcon 180B?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!