Stanford dan OpenAI mencadangkan meta-prompting, dan teknologi dorongan sifar sampel terkuat telah dilahirkan.

Generasi model bahasa terkini (seperti GPT-4, PaLM dan LLaMa) telah membuat penemuan penting dalam pemprosesan dan penjanaan bahasa semula jadi. Model berskala besar ini mampu melakukan tugasan daripada menulis soneta Shakespeare hingga meringkaskan laporan perubatan yang kompleks dan juga menyelesaikan masalah pengaturcaraan peringkat persaingan. Walaupun model ini mampu menyelesaikan pelbagai masalah, ia tidak selalu betul. Kadangkala mereka mungkin menghasilkan keputusan tindak balas yang tidak tepat, mengelirukan atau bercanggah. Oleh itu, apabila menggunakan model ini, penjagaan masih perlu diambil untuk menilai dan mengesahkan ketepatan dan kebolehpercayaan outputnya.

Apabila kos pengendalian model berkurangan, orang ramai mula mempertimbangkan untuk menggunakan sistem perancah dan pertanyaan model berbilang bahasa untuk meningkatkan ketepatan dan kestabilan output model. Pendekatan ini mengoptimumkan prestasi model dan memberikan pengalaman yang lebih baik untuk pengguna.

Penyelidikan daripada Stanford dan OpenAI ini mencadangkan teknologi baharu yang boleh digunakan untuk meningkatkan kuasa dan prestasi model bahasa yang dipanggil meta-prompting.

• paper Tajuk: Meta-Prompting: Meningkatkan Model Bahasa dengan Task-Agnostic Scaffolding
• paper Alamat: https://arxiv.org/abs/2401.129 54
• Alamat projek: https://github.com/suzgunmirac/meta-prompting

Teknologi ini melibatkan membina gesaan "meta" peringkat tinggi, yang fungsinya untuk mengarahkan model bahasa untuk melakukan berikut :

1. Uraikan tugasan atau masalah yang rumit kepada subtugas yang lebih kecil

2 Gunakan arahan bahasa semula jadi yang sesuai dan terperinci untuk menetapkan subtugas ini kepada model "pakar" khusus ;

komunikasi antara model pakar ini;

4 Gunakan kemahiran pemikiran kritis, penaakulan dan pengesahan mereka sendiri melalui proses ini.

Untuk model bahasa yang boleh dipanggil secara berkesan menggunakan meta-prompting, peranan model tersebut adalah untuk bertindak sebagai konduktor apabila menanyakannya. Ia mengeluarkan sejarah mesej (atau naratif) yang terdiri daripada respons daripada pelbagai model pakar. Model bahasa ini mula-mula bertanggungjawab untuk menjana bahagian komander sejarah mesej, yang merangkumi pemilihan pakar dan pembinaan arahan khusus untuk mereka. Walau bagaimanapun, model bahasa yang sama juga bertindak sebagai pakar bebas dengan haknya sendiri, menjana output berdasarkan kepakaran dan maklumat yang dipilih oleh komander untuk setiap pertanyaan tertentu.

Pendekatan ini membolehkan model bahasa bersatu tunggal mengekalkan garis penaakulan yang koheren sambil turut memanfaatkan pelbagai peranan pakar. Dengan memilih konteks secara dinamik untuk digesa, pakar ini boleh membawa perspektif baharu kepada proses tersebut, manakala model komander mengekalkan pandangan mata mengenai sejarah lengkap dan mengekalkan koordinasi.

Oleh itu, pendekatan ini membolehkan model bahasa kotak hitam tunggal bertindak secara berkesan sebagai komander pusat dan satu siri pakar yang berbeza, menghasilkan respons yang lebih tepat, boleh dipercayai dan koheren.

Teknologi gesaan meta yang baru dicadangkan di sini menggabungkan dan memanjangkan banyak idea dorongan berbeza yang dicadangkan oleh penyelidikan baru-baru ini, termasuk perancangan peringkat tinggi dan membuat keputusan, tugasan orang yang dinamik, perdebatan berbilang ejen, nyahpepijat kendiri dan refleksi.

Aspek utama penggerak meta ialah sifatnya sebagai agnostik tugas.

Tidak seperti kaedah perancah tradisional yang memerlukan arahan atau contoh khusus untuk disesuaikan dengan setiap tugasan, gesaan meta menggunakan set arahan peringkat tinggi yang sama merentas berbilang tugasan dan input. Keserbagunaan ini amat bermanfaat untuk pengguna yang malu bermasalah, kerana ia menghapuskan keperluan untuk memberikan contoh terperinci atau arahan khusus untuk setiap tugas tertentu.

Sebagai contoh, untuk permintaan sekali seperti "Tulis soneta Shakespeare tentang mengambil swafoto", pengguna tidak perlu menambahnya dengan contoh puisi neoklasik berkualiti tinggi.

kaedah meta-prompting boleh meningkatkan kegunaan model bahasa dengan menyediakan rangka kerja yang luas dan fleksibel tanpa menjejaskan kekhususan atau kaitannya. Di samping itu, untuk menunjukkan keupayaan fleksibiliti dan penyepaduan kaedah meta-prompting, pasukan itu juga mempertingkatkan sistemnya supaya ia boleh memanggil penterjemah Python. Ini akan membolehkan teknologi menyokong aplikasi yang lebih dinamik dan komprehensif, seterusnya meningkatkan potensinya untuk mengendalikan pelbagai tugas dan pertanyaan dengan cekap.

Rajah 2 menunjukkan contoh aliran perbualan yang menggesa meta.

Ia menggambarkan proses yang mana Model Meta (Model Komander) mentafsir outputnya sendiri menggunakan input dan output daripada pelbagai model pakar profesional atau pelaksanaan kod yang berbeza. Konfigurasi ini menjadikan gesaan meta sebagai alat yang hampir universal. Ia membolehkan interaksi dan pengiraan pelbagai model bahasa diagregatkan menjadi satu naratif yang koheren. Meta-prompting adalah berbeza kerana ia membenarkan model bahasa memutuskan sendiri gesaan yang mana untuk digunakan atau coretan yang hendak digunakan.

Pasukan menjalankan eksperimen komprehensif menggunakan GPT-4 sebagai model bahasa asas, membandingkan meta-prompt dengan kaedah perancah bebas tugas yang lain.

Eksperimen mendapati bahawa gesaan meta bukan sahaja boleh meningkatkan prestasi keseluruhan, tetapi juga sering mencapai hasil terbaik baharu pada pelbagai tugasan yang berbeza. Fleksibilitinya amat perlu diberi perhatian: model komander mempunyai keupayaan untuk memanggil model pakar (yang pada asasnya sendiri, dengan arahan yang berbeza) untuk melaksanakan pelbagai fungsi yang berbeza. Fungsi ini mungkin termasuk menyemak output sebelumnya, memilih persona AI khusus untuk tugas tertentu, mengoptimumkan kandungan yang dijana dan memastikan output akhir memenuhi piawaian yang diperlukan dalam kedua-dua bahan dan bentuk.

Seperti yang ditunjukkan dalam Rajah 1, berbanding dengan kaedah sebelumnya, kaedah baru mempunyai peningkatan yang jelas.

meta-prompting

Pengetahuan intuitif dan gambaran keseluruhan abstrak. Meta-prompting berfungsi dengan menggunakan model untuk menyelaras dan melaksanakan berbilang pertanyaan bebas, kemudian menggabungkan respons mereka untuk memberikan respons akhir. Pada dasarnya, mekanisme ini mengguna pakai pendekatan bersepadu yang meminjam kuasa dan kepelbagaian model profesional bebas untuk menyelesaikan dan mengendalikan tugas atau masalah pelbagai aspek secara kolaboratif.

Inti strategi penggerak meta ialah struktur ceteknya, yang menggunakan model tunggal (dipanggil metamodel) sebagai entiti induk yang berwibawa.

Struktur dorongan ini serupa dengan orkestra, di mana peranan konduktor dimainkan oleh model meta dan setiap pemain muzik sepadan dengan model khusus domain yang berbeza. Sama seperti konduktor boleh menyelaraskan berbilang instrumen untuk memainkan melodi yang harmoni, metamodel boleh menggabungkan jawapan dan cerapan daripada berbilang model untuk memberikan jawapan yang tepat dan komprehensif kepada soalan atau tugasan yang kompleks.

Secara konsep, dalam rangka kerja ini, pakar khusus domain boleh mengambil pelbagai bentuk, seperti model bahasa yang diperhalusi untuk tugasan tertentu, API khusus untuk mengendalikan jenis pertanyaan tertentu atau bahkan alat Pengiraan seperti kalkulator atau alat pengekodan seperti jurubahasa Python untuk melaksanakan kod. Pakar kepelbagaian fungsi ini diarahkan dan disatukan di bawah pengawasan model meta dan tidak boleh berinteraksi atau berkomunikasi secara langsung antara satu sama lain.

Prosedur Algoritma 1 memberikan pseudokod kaedah meta-prompt yang baru dicadangkan.

Untuk meringkaskan secara ringkas, langkah pertama ialah melakukan transformasi pada input supaya ia mematuhi templat yang sesuai kemudian lakukan gelung berikut: (a) serahkan gesaan kepada metamodel, (b) jika perlu, gunakan model Pakar khusus domain, (c) mengembalikan respons akhir, (d) mengendalikan ralat.

Perlu ditegaskan bahawa model meta dan model pakar yang digunakan oleh pasukan dalam eksperimen adalah kedua-duanya GPT-4. Perbezaan dalam peranan mereka ditentukan oleh arahan yang diterima oleh setiap satu; di mana model meta mengikut set arahan yang disediakan dalam Rajah 3, dan model pakar mengikut arahan yang ditentukan secara dinamik oleh model meta pada masa inferens.

Persediaan Eksperimen

Tanda Aras

Pasukan membandingkan meta-promps dengan versi sifar pukulan tugas-agnostik kaedah gesaan berikut:

gesaan piawai
• Sifar pukulan gesaan rantaian pemikiran
• Gesaan pakar

Gesaan berbilang orang

Set data dan tugasan

Pasukan dan pelbagai set data yang memerlukan pelbagai set data dalam pelbagai jenis tugasan kebolehan , seperti penaakulan matematik dan algoritma, pengetahuan khusus domain dan kreativiti sastera. Set data dan tugasan ini termasuk:

Permainan 24: Matlamatnya adalah untuk membina ungkapan aritmetik yang menghasilkan 24 menggunakan empat nilai yang diberikan (setiap satu hanya boleh digunakan sekali).
Tiga tugasan BIG-Bench Hard (BBH): Bentuk Geometrik, Aritmetik Berbilang Langkah dan Isih Perkataan serta tugasan inferens Checkmate-in-One yang diambil terus daripada suite BIG-Bench.
Teka-teki Pengaturcaraan Python (P3), yang merupakan soalan pengaturcaraan Python, termasuk pelbagai kesukaran.
Matematik Sekolah Gred Berbilang bahasa ialah versi berbilang bahasa bagi set data GSM8K yang merangkumi Bengali, Jepun dan Swahili.
Shakespearean Sonnet Writing ialah tugas baharu yang dicipta oleh pasukan Matlamatnya adalah untuk menulis sonnet yang berima dengan tegas mengikut "ABAB CDCD EFEF GG", di mana perkataan "sepatutnya" Sertakan tiga perkataan yang disediakan dengan sempurna. .

Bagi penilaian, salah satu daripada tiga petunjuk berikut akan digunakan bergantung pada jenis dan bentuk tugasan:

Exact Match (EM), Exact Match

Soft Match (SM) , Soft Match

• Functionally Correct (FC), Functional Correctness
• Model dan Inferens
Gpt-4s-2k utama pasukan (gpt-4s-2k). Beberapa percubaan tambahan menggunakan GPT-3.5 (gpt-35-turbo). Sama ada GPT-3.5 atau GPT-4, arahan berikut digunakan untuk penalaan halus.

Dalam semua eksperimen, parameter dan arahan sistem yang digunakan oleh model meta adalah sama. Nilai suhu ditetapkan kepada 0, nilai p atas ditetapkan kepada 0.95, dan bilangan maksimum token ialah 1024.

Keputusan Utama dan Perbincangan

Jadual 1 meringkaskan keputusan percubaan, dan keunggulan cadangan meta yang baru dicadangkan ditunjukkan.

Melihat kepada prestasi keseluruhan kaedah ini pada semua tugasan, kita dapat melihat bahawa gesaan meta membawa peningkatan yang ketara dalam ketepatan, terutamanya apabila dibantu oleh alat penterjemah Python.

Secara khusus, kaedah gesaan meta mengatasi kaedah gesaan standard sebanyak 17.1%, melebihi gesaan pakar (dinamik) sebanyak 17.3%, dan juga 15.2% lebih baik daripada gesaan berbilang orang.

Selain itu, kita dapat melihat dari Rajah 4 dan 5 bahawa berbanding dengan meta-prompting tanpa menggunakan penterjemah Python, apabila menyepadukan penterjemah Python, prestasi keseluruhan pada tugasan yang berbeza boleh dipertingkatkan sebanyak 11.5%.

Pasukan itu juga membincangkan secara mendalam dalam kertas itu tentang cerapan utama yang diperoleh daripada eksperimen, termasuk keunggulan prestasi tindakan meta, keupayaan penguraian sifar pukulan, pengesanan ralat dan pengagregatan maklumat , dll. Kami tidak akan membincangkan butiran di sini, tetapi konsep Mata Segar patut diperkenalkan.

Mata Segar aka melihat dengan sepasang mata lain, yang membantu mengurangkan masalah yang terkenal dengan model bahasa: membuat kesilapan sepanjang jalan dan menunjukkan terlalu yakin.

Fresh Eyes ialah perbezaan utama antara gesaan meta dan gesaan berbilang pemain, dan hasil percubaan juga telah membuktikan kelebihannya. Dalam meta-prompting, pakar (atau personas) boleh digunakan untuk menilai semula masalah tersebut. Pendekatan ini menawarkan peluang untuk mendapatkan cerapan baharu, yang berpotensi mendedahkan jawapan yang tidak didapati tidak betul sebelum ini.

Berdasarkan psikologi kognitif, Fresh Eyes boleh membawa penyelesaian masalah yang lebih kreatif dan hasil pengesanan ralat.

Contoh di bawah menunjukkan kebaikan Mata Segar dalam amalan. Katakan tugas itu ialah Permainan 24. Nilai yang disediakan ialah 6, 11, 12, dan 13. Anda dikehendaki membina ungkapan aritmetik yang menghasilkan 24 dan menggunakan setiap nombor sekali sahaja. Sejarahnya mungkin kelihatan seperti ini:

1 Model meta mencadangkan model pakar perundingan yang menyelesaikan masalah matematik dan pengaturcaraan dalam Python. Ia menekankan keperluan untuk ketepatan dan pematuhan terhadap kekangan dan mengesyorkan melibatkan pakar lain jika perlu.

2 Seorang pakar memberikan penyelesaian, tetapi pakar lain berpendapat ia salah, jadi model meta mencadangkan menulis program Python untuk mencari penyelesaian yang sah.

3. Rujuk pakar pengaturcaraan dan minta dia menulis program.

4 Seorang lagi pakar pengaturcaraan menemui pepijat dalam skrip, kemudian mengubah suai dan melaksanakan skrip yang diubah suai.

5. Rujuk pakar matematik untuk mengesahkan output penyelesaian oleh program.

6. Selepas pengesahan selesai, model meta mengeluarkannya sebagai jawapan akhir.

Contoh ini menunjukkan cara gesaan meta boleh menggabungkan perspektif baharu pada setiap langkah untuk bukan sahaja mencari jawapan, tetapi juga mengenal pasti dan membetulkan ralat dengan berkesan.

Pasukan akhirnya membincangkan beberapa isu lain yang berkaitan dengan penggerak meta, termasuk analisis jenis pakar yang digunakan, bilangan pusingan dialog yang diperlukan untuk mendapatkan keputusan akhir, dan cara menangani masalah yang tidak dapat diselesaikan. Sila rujuk kertas asal untuk butiran.