16 bilion parameter, pelbagai keupayaan baharu, Fudan MOSS ialah sumber terbuka

Pada Februari tahun ini, Machine Heart melaporkan berita bahawa Universiti Fudan melancarkan ChatGPT versi Cina (lihat "Fudan mengeluarkan ChatGPT versi Cina: MOSS mula menguji dan mencecah carian panas, pelayan ramai")), yang menarik perhatian ramai. Pada masa itu, Profesor Qiu Xipeng berkata bahawa Moss akan menjadi sumber terbuka pada bulan April.

Semalam, versi sumber terbuka Moss benar-benar datang.

Alamat projek: https://github.com/OpenLMLab/MOSS

MOSS ialah model bahasa perbualan sumber terbuka yang menyokong dwibahasa Cina-Inggeris dan berbilang pemalam, tetapi bilangan parameter jauh lebih kecil daripada ChatGPT. Selepas v0.0.2, pasukan terus melaraskannya dan melancarkan MOSS v0.0.3, yang merupakan versi sumber terbuka semasa. Berbanding dengan versi terdahulu, fungsi juga telah dikemas kini dalam banyak cara.

Dalam ujian awal, fungsi asas MOSS adalah serupa dengan ChatGPT Ia boleh menyelesaikan pelbagai tugas pemprosesan bahasa semula jadi mengikut arahan yang dimasukkan oleh pengguna, termasuk penjanaan teks, ringkasan teks. , terjemahan dan penjanaan kod , ceramah kecil, dsb.

Selepas beta terbuka, pasukan terus meningkatkan pra-latihan korpus Cina: "Setakat ini, model bahasa asas MOSS 003 telah dilatih pada token Cina 100B, dan jumlah latihan Bilangan token mencecah 700B, yang juga mengandungi kira-kira 300B kod "

Selepas beta terbuka, kami juga mengumpul beberapa data pengguna, dan kami mendapati bahawa niat pengguna dalam bahasa Cina sebenar. dunia adalah seperti yang didedahkan dalam kertas OpenAI InstructGPT Pengedaran segera pengguna bagi benih menghasilkan semula kira-kira 1.1 juta data perbualan biasa, meliputi data bantuan yang lebih terperinci dan data tidak berbahaya yang lebih luas.

Sumber kandungan: https://www.zhihu.com/question/596908242/answer/2994534005

Pada masa ini, pasukan Tiga model, moss-moon-003-base, moss-moon-003-sft, dan moss-moon-003-sft-plugin, telah dimuat naik ke HuggingFace. Pada masa hadapan, tiga lagi model akan menjadi sumber terbuka.

Menurut laman utama projek, model siri moss-moon mempunyai 16 bilion parameter dan boleh digunakan dalam satu A100/A800 atau dua helaian pada ketepatan FP16 3090 kad grafik berjalan, boleh berjalan pada satu kad grafik 3090 pada ketepatan INT4/8.

Pasukan juga menyatakan bahawa disebabkan bilangan parameter model yang kecil dan paradigma penjanaan autoregresif, MOSS mungkin masih menjana balasan mengelirukan yang mengandungi ralat fakta atau kandungan berbahaya yang mengandungi berat sebelah/diskriminasi, sila Jadi berhati-hati untuk mengenal pasti dan menggunakan kandungan yang dihasilkan oleh MOSS, dan jangan menyebarkan kandungan berbahaya yang dihasilkan oleh MOSS ke Internet.

Keupayaan baharu

Dalam MOSS v0.0.3, pasukan telah menambah beberapa keupayaan baharu.

Pasukan itu membina kira-kira 300,000 data perbualan yang dipertingkatkan pemalam, termasuk enjin carian, gambar rajah Vincent, kalkulator, penyelesai persamaan, dsb. Mengenai cara menggunakan versi pemalam MOSS, pasukan seterusnya akan mengumumkannya di GitHub.

MOSS v0.0.3 kini memperkenalkan keupayaan untuk menggunakan berbilang pemalam.

Imej berikut menunjukkan keupayaan untuk memanggil enjin carian:

Yang berikut imej menunjukkan Keupayaan untuk memanggil penyelesai persamaan:

Imej di bawah menunjukkan keupayaan untuk menjana imej daripada teks:

Pengarang projek Sun Tianxiang menambah bahawa keupayaan MOSS 003 untuk menyokong pemalam yang membolehkan dikawal melalui arahan meta, serupa dengan gesaan sistem dalam gpt-3.5-turbo. "Oleh kerana ia dikawal oleh model, ia tidak dapat menjamin kadar kawalan 100%, dan masih terdapat beberapa kecacatan seperti panggilan yang tidak tepat bagi pemalam berbilang pilihan dan pemalam berlawan antara satu sama lain. Kami sedang membangunkan model baharu secepat mungkin. yang mungkin untuk mengurangkan masalah ini."

Muat turun dan pasang

Muat turun kandungan gudang ini ke pelayan tempatan/jauh:

git clone https://github.com/OpenLMLab/MOSS.gitcd MOSS

Buat persekitaran conda:

conda create --name moss pythnotallow=3.8
conda activate moss

Kebergantungan pemasangan:

pip install -r requirements.txt

Versi obor dan transformer tidak disyorkan untuk lebih rendah daripada versi yang disyorkan.

Mengikut perjanjian, MOSS sumber terbuka boleh digunakan untuk tujuan komersial:

Selain itu , pembangun boleh Untuk memanggil perkhidmatan MOSS melalui API, pasukan akan mempertimbangkan untuk menyediakan perkhidmatan melalui antara muka API mengikut tekanan perkhidmatan semasa Untuk format antara muka, sila rujuk: https://github.com/OpenLMLab/MOSS/blob/main. /moss_api.pdf

Pada masa ini, terdapat pembangun yang mencipta berdasarkan kandungan sumber terbuka, seperti Soal Jawab video melalui VideoChat.

VideoChat ialah alat soal jawab video berbilang fungsi yang menggabungkan fungsi pengecaman gerakan, sari kata visual dan StableLM. Alat ini menghasilkan sari kata yang padat dan deskriptif untuk sebarang objek dan tindakan dalam video, menawarkan pelbagai gaya bahasa untuk disesuaikan dengan pilihan pengguna yang berbeza. Ia menyokong pengguna untuk mengadakan perbualan dengan panjang, mood dan ketulenan bahasa yang berbeza-beza.

Alamat projek: https://github.com/OpenGVLab/Ask-Anything/tree/main/video_chat_with_MOSS

Atas ialah kandungan terperinci 16 bilion parameter, pelbagai keupayaan baharu, Fudan MOSS ialah sumber terbuka. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!