Kedudukan separa Cina UC Berkeley LLM ada di sini! GPT-4 berada di kedudukan pertama, dan model RNN sumber terbuka Cina masuk ke dalam enam teratas

Beberapa masa lalu, penyelidik dari LMSYS Org (diketuai oleh UC Berkeley) membuat berita besar - pertandingan ranking versi model bahasa yang besar!

Kali ini, pasukan itu bukan sahaja membawa 4 pemain baharu, tetapi juga papan pendahulu (kuasi) Cina.

• OpenAI GPT-4
• OpenAI GPT-3.5-turbo
• Anthropic Claude-v1
• RWKV-4-Raven- 14B (Sumber Terbuka)

Tidak dinafikan bahawa selagi GPT-4 mengambil bahagian dalam pertempuran, ia pasti akan menduduki tempat pertama.

Walau bagaimanapun, tanpa diduga, Claude bukan sahaja mengatasi GPT-3.5, yang membawa OpenAI ke altar, untuk menduduki tempat kedua, tetapi hanya 50 mata di belakang GPT-4.

Sebaliknya, GPT-3.5 peringkat ketiga hanya 72 mata lebih tinggi daripada Vicuna, model sumber terbuka terkuat dengan 13 bilion parameter.

Parameter 14 bilion "model RNN tulen" RWKV-4-Raven-14B bergantung pada prestasi cemerlangnya untuk mengatasi semua model Transformer dan menduduki tempat ke-6 - kecuali untuk model Vicuna , RWKV menang lebih daripada 50% permainan tanpa seri terhadap semua model sumber terbuka yang lain.

Selain itu, pasukan itu juga mencipta dua kedudukan berasingan: "Bahasa Inggeris Sahaja" dan "Bukan Bahasa Inggeris" (kebanyakannya dalam bahasa Cina) Senaraikan.

Seperti yang anda lihat, kedudukan banyak model telah berubah dengan ketara.

Contohnya, ChatGLM-6B yang dilatih dengan lebih banyak data Cina memang berprestasi lebih baik, dan GPT-3.5 juga berjaya mengatasi Claude dan menduduki tempat kedua.

Penyumbang utama kemas kini ini ialah Sheng Ying, Lianmin Zheng, Hao Zhang, Joseph E. Gonzalez dan Ion Stoica.

Sheng Ying ialah salah seorang daripada tiga pengasas LMSYS Org (dua yang lain ialah Lianmin Zheng dan Hao Zhang) dan seorang pelajar kedoktoran di Jabatan Sains Komputer di Universiti Stanford.

Ia juga merupakan hasil kerja FlexGen, sebuah sistem yang telah menjadi popular sebelum ini dan boleh menjalankan inferens model 175B pada satu GPU Pada masa ini ia telah menerima 8k bintang.

Alamat kertas: https://arxiv.org/abs/2303.06865

Alamat projek: https://github.com/FMInference/FlexGen

Halaman utama peribadi: https://sites.google.com /view/yingsheng/home

"Sumber Terbuka" VS "Sumber Tertutup"

Dengan bantuan komuniti, pasukan mengumpul sejumlah 13k undian tanpa nama Dan beberapa penemuan menarik telah dibuat.

Jurang antara proprietari dan sumber terbuka

Antara tiga model proprietari, model Anthropic’s Claude lebih popular berbanding Pengguna GPT-3.5-turbo selamat datang.

Selain itu, Claude juga menunjukkan prestasi yang sangat kompetitif apabila bersaing dengan GPT-4 yang paling berkuasa.

Berdasarkan carta kadar kemenangan di bawah, daripada 66 perlawanan tanpa seri antara GPT-4 dan Claude, Claude memenangi 32 perlawanan (48%).

Dalam semua pertarungan bukan seri A vs B, bahagian model A yang menang

Walau bagaimanapun, masih terdapat jurang yang besar antara model sumber terbuka lain dan ketiga-tiga model proprietari ini.

Khususnya, GPT-4 mendahului kedudukan dengan skor Elo 1274. Itu hampir 200 mata lebih tinggi daripada alternatif sumber terbuka terbaik dalam senarai, Vicuna-13B.

Selepas mengalihkan hubungan, GPT-4 memenangi 82% perlawanan menentang Vicuna-13B malah 79% menentang permainan GPT-3.5-turbo generasi sebelumnya.

Walau bagaimanapun, perlu diperhatikan bahawa model sumber terbuka pada papan pendahulu ini biasanya mempunyai parameter yang lebih sedikit daripada model proprietari, antara 3 bilion - 14 bilion.

Malah, kemajuan terkini dalam LLM dan penyusunan data telah memungkinkan untuk mencapai peningkatan prestasi yang ketara menggunakan model yang lebih kecil.

PaLM 2 terbaharu Google ialah contoh yang baik: kami tahu bahawa PaLM 2 mencapai prestasi yang lebih baik daripada pendahulunya apabila menggunakan saiz model yang lebih kecil.

Oleh itu, pasukan optimis bahawa model bahasa sumber terbuka akan menyusul.

Bilakah GPT-4 akan "terbalik"?

Dalam imej di bawah, seorang pengguna telah bertanya soalan rumit yang memerlukan penaakulan dan perancangan yang teliti. Walaupun Claude dan GPT-4 memberikan jawapan yang sama, respons Claude adalah lebih baik sedikit.

Walau bagaimanapun, disebabkan sifat persampelan rawak, pasukan mendapati bahawa situasi ini tidak selalu boleh diulang. Kadangkala GPT-4 juga boleh memberikan urutan yang sama seperti Claude, tetapi ia gagal dalam percubaan generasi ini.

Selain itu, pasukan mendapati bahawa GPT-4 berkelakuan sedikit berbeza apabila menggunakan API OpenAI dan antara muka ChatGPT, yang mungkin disebabkan oleh gesaan, parameter pensampelan yang berbeza atau faktor lain yang tidak diketahui yang disebabkan.

Contoh pengguna yang memilih Claude berbanding GPT-4

Dalam rajah di bawah, walaupun kedua-dua Claude dan GPT-4 mempunyai keupayaan yang menakjubkan, mereka masih bergelut untuk menangani masalah inferens kompleks jenis ini.

Contoh pengguna yang menganggap Claude dan GPT-4 salah

Selain situasi rumit ini, terdapat banyak soalan mudah yang tidak memerlukan penaakulan atau pengetahuan yang kompleks.

Dalam kes ini, model sumber terbuka seperti Vicuna boleh berprestasi setanding dengan GPT-4, jadi kami mungkin boleh menggunakan Model Bahasa besar (LLM) yang lebih lemah (tetapi lebih kecil atau lebih murah) ) untuk menggantikan model yang lebih berkuasa seperti GPT-4.

Perubahan Skor Elo

Arena chatbot tidak pernah menjadi lebih kompetitif sejak tiga model proprietari yang berkuasa terlibat.

Memandangkan model sumber terbuka kehilangan banyak permainan apabila bermain menentang model proprietari, markah Elo mereka semuanya menurun.

Akhir sekali, pasukan juga merancang untuk membuka beberapa API supaya pengguna boleh mendaftarkan chatbot mereka sendiri untuk mengambil bahagian dalam perlawanan berperingkat.

Atas ialah kandungan terperinci Kedudukan separa Cina UC Berkeley LLM ada di sini! GPT-4 berada di kedudukan pertama, dan model RNN sumber terbuka Cina masuk ke dalam enam teratas. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!