GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baik

Sejak kemunculan GPT-4, orang ramai telah kagum dengan keupayaan kemunculannya yang hebat, termasuk keupayaan pemahaman bahasa yang sangat baik, keupayaan penjanaan, keupayaan penaakulan logik, dsb. Keupayaan ini menjadikan GPT-4 sebagai salah satu model paling canggih dalam pembelajaran mesin. Walau bagaimanapun, OpenAI tidak mendedahkan sebarang butiran teknikal GPT-4 setakat ini.

Bulan lepas, George Hotz menyebut GPT-4 dalam temu bual dengan podcast teknologi AI yang dipanggil Latent Space, mengatakan bahawa GPT-4 sebenarnya adalah model hibrid. Secara khusus, George Hotez berkata bahawa GPT-4 menggunakan sistem bersepadu yang terdiri daripada 8 model pakar, setiap satunya mempunyai 220 bilion parameter (lebih sedikit daripada 175 bilion parameter GPT-3), dan Model ini dilatih pada data dan tugas yang berbeza. pengagihan.

Temu bual dari Latent Space.

Ini mungkin hanya spekulasi oleh George Hotz, tetapi model ini mempunyai sedikit kesahihan. Baru-baru ini, kertas kerja yang diterbitkan bersama oleh penyelidik dari Google, UC Berkeley, MIT dan institusi lain mengesahkan bahawa gabungan model pakar hibrid (MoE) dan penalaan arahan boleh meningkatkan prestasi model bahasa besar (LLM) dengan ketara.

Gambar

Alamat kertas: https://arxiv.org/pdf/2305.14705.pdf

Model pakar campuran jarang yang boleh mengurangkan kos rangkaian kos saraf khas . Dalam kes ini, tambahkan parameter yang boleh dipelajari pada model bahasa besar (LLM). Penalaan arahan ialah teknik untuk melatih LLM mengikut arahan. Kajian mendapati bahawa model KPM mendapat lebih banyak manfaat daripada penalaan arahan daripada model padat, dan oleh itu dicadangkan untuk menggabungkan KPM dan penalaan arahan.

Kajian ini dijalankan secara empirik dalam tiga tetapan eksperimen, termasuk

• penalaan terus pada satu tugas hiliran tanpa penalaan arahan; generalisasi sifar; memperhalusi tugas hiliran individu selepas
• penalaan arahan.
• Dalam kes pertama, model MoE umumnya lebih rendah daripada model padat dengan kuasa pengiraan yang sama. Walau bagaimanapun, dengan pengenalan penalaan arahan (kes kedua dan ketiga), FLAN-MoE_32B (Language Net yang ditala Halus, disingkat sebagai Flan, ialah model yang ditala arahan, Flan-MoE ialah penalaan arahan yang Cemerlang) mengatasi FLAN -PALM_62B pada empat tugas penanda aras, tetapi hanya menggunakan satu pertiga daripada FLOP.

Seperti yang ditunjukkan dalam rajah di bawah, sebelum menggunakan penalaan arahan, MoE→FT tidak sebaik T5→FT. Selepas penalaan arahan, Flan-MoE→FT mengatasi prestasi Flan-T5→FT. Faedah KPM daripada penalaan arahan (+15.6) lebih besar daripada model padat (+10.2):

Gambar

Nampaknya GPT-4 mempunyai asas untuk mengamalkan model hibrid manfaat daripada penalaan arahan. Dapatkan faedah yang lebih besar daripada yang terbaik:

Gambar

Gambaran keseluruhan kaedah

Para penyelidik menggunakan pengaktifan campuran jarang MoE dalam set FLAN-MOE yang halus dengan arahan) model (Mixture-of-Experts). Selain itu, mereka menggantikan komponen suapan hadapan lapisan Transformer lain dengan lapisan MoE.

Setiap lapisan KPM boleh difahami sebagai "pakar". Kemudian, pakar ini dimodelkan menggunakan fungsi pengaktifan softmax untuk mendapatkan taburan kebarangkalian.

Walaupun setiap lapisan KPM mempunyai banyak parameter, pakar jarang diaktifkan. Ini bermakna bahawa untuk token input yang diberikan, hanya subset pakar yang terhad boleh menyelesaikan tugas, sekali gus memberikan kapasiti yang lebih besar kepada model.

Untuk lapisan MoE dengan pakar E, ini memberikan O (E^2) kombinasi berbeza rangkaian hadapan suapan yang berbeza, membolehkan fleksibiliti pengiraan yang lebih besar.

Memandangkan FLAN-MoE ialah model yang ditala arahan, penalaan arahan adalah sangat penting Kajian ini memperhalusi FLAN-MOE berdasarkan set data kolektif FLAN. Di samping itu, kajian ini melaraskan panjang jujukan input setiap FLAN-MOE kepada 2048 dan panjang output kepada 512.

Eksperimen dan Analisis

Secara purata, Flan-MoE mengatasi rakan sejawatannya yang padat (Flan-T5) pada semua skala model tanpa menambah sebarang pengiraan tambahan.

Gambar

Jumlah Pakar. Rajah 4 menunjukkan bahawa apabila bilangan pakar meningkat, pada mulanya model mendapat manfaat daripada set subrangkaian khusus yang lebih kaya, masing-masing mampu mengendalikan tugas atau aspek yang berbeza dalam ruang masalah. Pendekatan ini menjadikan KPM sangat mudah menyesuaikan diri dan cekap dalam mengendalikan tugas yang kompleks, sekali gus meningkatkan prestasi secara keseluruhan. Walau bagaimanapun, apabila bilangan pakar terus meningkat, peningkatan prestasi model mula berkurangan, akhirnya mencapai titik tepu.

Gambar

Rajah 3 dan Jadual 1 mengkaji secara terperinci bagaimana keputusan penghalaan yang berbeza mempengaruhi prestasi penalaan arahan: Melalui perbandingan antara strategi FLAN-Switch dan FLAN-GS, dapat disimpulkan bahawa meningkatkan prestasi lebih Pakar merentasi empat penanda aras. Antara penanda aras ini, model MMLU-Direct menunjukkan peningkatan yang paling ketara, meningkat daripada 38.0% kepada 39.9% untuk model bersaiz BASE/LARGE.

Terutamanya, penalaan arahan telah meningkatkan prestasi model KPM dengan ketara dalam mengekalkan MMLU, BBH, dan QA dalaman dan penanda aras inferens berbanding model padat dengan kapasiti setara. Kelebihan ini diperkuatkan lagi untuk model MoE yang lebih besar. Sebagai contoh, penalaan arahan meningkatkan prestasi sebanyak 45.2% untuk ST_32B, manakala untuk FLAN-PALM_62B peningkatan ini agak kecil pada kira-kira 6.6%.

Apabila melakukan sambungan model, Flan-MoE (Flan-ST-32B) mengatasi prestasi Flan-PaLM-62B.

Pictures

Selain itu, kajian menjalankan beberapa eksperimen analitik dengan membekukan fungsi gating, modul pakar dan parameter KPM bagi model yang diberikan. Seperti yang ditunjukkan dalam Jadual 2 di bawah, keputusan eksperimen menunjukkan bahawa pembekuan modul pakar atau komponen KPM mempunyai kesan negatif terhadap prestasi model.

Sebaliknya, fungsi pembekuan gating akan meningkatkan sedikit prestasi model, walaupun ia tidak jelas. Para penyelidik membuat spekulasi bahawa pemerhatian ini berkaitan dengan kekurangan FLAN-MOE. Kajian ini juga menjalankan eksperimen ablasi untuk meneroka kajian ablasi kecekapan data penalaan halus yang diterangkan dalam Rajah 5 di bawah.

Akhir sekali, untuk membandingkan jurang antara penalaan halus langsung KPM dan FLAN-MOE, kajian ini menjalankan eksperimen ke atas penalaan halus tugas tunggal KPM, penalaan halus tugas tunggal FLAN-KPM dan model padat. Hasilnya adalah seperti berikut Seperti yang ditunjukkan dalam Rajah 6:

Pembaca yang berminat boleh membaca teks asal kertas untuk mengetahui lebih lanjut tentang kandungan penyelidikan.

Atas ialah kandungan terperinci GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!