CREATOR membuat dan menggunakan alatan untuk merealisasikan 'evolusi diri' LLM

Sejak zaman purba, penggunaan alat telah dianggap sebagai perbezaan utama antara manusia dan spesies lain, dan juga dianggap sebagai manifestasi asas kecerdasan. Pada masa kini, kecerdasan buatan tidak lagi terhad kepada penggunaan alat yang mudah Mereka sudah boleh secara kreatif membina alatan mereka sendiri berdasarkan masalah untuk mencari penyelesaian. Dari segi pemikiran, ini bermakna model besar semasa telah dapat menguasai pemikiran dan kognisi abstrak peringkat tinggi, dan membahagikannya dengan pemikiran konkrit untuk menyelesaikan masalah bersama-sama dan dari segi keupayaan, kemunculan penciptaan alat juga bermakna model telah dapat Berubah melalui "pembelajaran" dan menggunakan apa yang anda tahu untuk "mencipta" kemungkinan yang tidak terhingga untuk masa depan.

• Pautan kertas: https://arxiv.org/pdf/2305.14318.pdf

Latar Belakang Penyelidikan

Dalam beberapa tahun kebelakangan ini, model bahasa besar (Model Bahasa Besar) telah membuat kemajuan penyelidikan yang ketara, termasuk GPT-3, Codex, PaLM, LLaMA, ChatGPT dan GPT-4 yang dikeluarkan baru-baru ini, dsb. Model ini cemerlang dalam pembelajaran dalam konteks, penjanaan kod dan pelbagai tugas pemprosesan bahasa semula jadi yang lain, mendorong potensi model lebih jauh ke arah kecerdasan buatan am.

Walaupun model besar telah mencapai kejayaan besar dalam bidang ini, mereka masih mempunyai banyak kelemahan, termasuk ketidakupayaan untuk mengenali atau menjawab maklumat masa nyata terkini dan kesukaran dalam data berskala besar Mencapai ketepatan yang tinggi, keupayaan penaakulan yang tidak stabil apabila batang soalan secara logiknya kompleks, dsb. Sebagai tindak balas kepada kelemahan ini, penyelidik telah mula berusaha untuk memperkenalkan keupayaan untuk menggunakan sumber luaran ke dalam seni bina model semasa, seperti memperkenalkan kalkulator, sistem soal jawab, Wikipedia dan sumber pengetahuan luaran lain untuk meningkatkan keupayaan model. Siri penyelidikan ini meletakkan asas untuk keupayaan Pembelajaran Alat model.

Walau bagaimanapun, bilangan alat luaran yang digunakan dalam penyelidikan semasa masih terhad, manakala potensi untuk jenis tugas baharu hampir tidak berkesudahan. Oleh itu, apabila berhadapan dengan jenis masalah baru, sukar untuk mencari alat sedia ada yang sesuai untuk menyelesaikan masalah. Tambahan pula, walaupun alat boleh eksploitasi yang berkesan disediakan, model memerlukan carian yang meluas, padanan dan perancangan khusus masalah dalam dokumentasi kit alat. Ini akan membawa beban kognitif yang besar kepada model dan memerlukan kos pembelajaran yang tinggi.

Oleh itu, pasukan penyelidik mencadangkan paradigma penyelidikan baharu: Penciptaan Alat (Penciptaan Alat) . Ia bukan lagi sekadar keupayaan untuk menggunakan model besar untuk menggunakan alatan, tetapi menambah modul penciptaan alat baharu, membolehkan model mencipta alatan dan mencari penyelesaian kepada masalah yang dihadapinya.

Memanfaatkan model besar untuk mencipta alatan boleh meningkatkan ubiquity, kebolehgunaan semula dan kepelbagaian alatan melebihi had API tertentu. Reka bentuk modul penciptaan alat juga boleh mengurangkan beban kognitif model besar dan memisahkannya untuk penaakulan abstrak (mencipta alat yang boleh digeneralisasikan dan universal) dan penaakulan konkrit (berdasarkan butiran pelaksanaan alat dan dokumentasi penggunaan alat) keupayaan membuat keputusan . Pada masa yang sama, model di bawah rangka kerja ini menggunakan kod sebagai medium untuk penciptaan alat, yang menjadikan model lebih sensitif terhadap ralat dan boleh mengesan kembali dan membetulkan berdasarkan masalah dalam penciptaan dan penggunaan alat.

Paradigma penciptaan alat adalah lebih fleksibel daripada penggunaan alat dan mempunyai kebolehsesuaian yang lebih kuat kepada senario yang berbeza

Rangka kerja untuk mencipta alatan untuk menyelesaikan masalah menggunakan model besar terbahagi kepada empat peringkat berikut:

• Penciptaan : Gunakan keupayaan penaakulan abstrak model besar untuk menyelesaikan masalah, dan cipta alatan yang diperlukan serta arahan penggunaannya melalui kod dengan cara yang disasarkan.
• Keputusan (Keputusan) : Gunakan keupayaan penaakulan konkrit model besar untuk menyelesaikan masalah, dan tentukan cara menggunakan alat untuk menyelesaikan masalah semasa.
• Pelaksanaan : Laksanakan keputusan berdasarkan alat yang dicipta dan kandungan keputusan, dan tangkap maklumat output semasa proses pelaksanaan.
• Pembetulan : Gunakan keupayaan model besar untuk membuat alasan tentang punca ralat dan pembaikan diri untuk membaiki masalah yang ditangkap semasa fasa pelaksanaan.

Rangka kerja proses untuk penciptaan alat model besar dan membuat keputusan

Model besar akan mula-mula mencipta alat yang diperlukan dan arahan berkaitannya berdasarkan masalah selepas itu, kandungan masalah dan maklumat alat akan dikembalikan kepada model besar pada masa yang sama untuk memutuskan a penyelesaian kepada masalah ini dan cara menggunakan alat ini. Selepas itu, model akan menyesuaikan alat dan keputusan berdasarkan pelaksanaan agar lebih sesuai dengan masalah dan mencari jawapan.

Keseluruhan rangka kerja penciptaan alat secara fleksibel menggunakan kebolehan pemikiran berbeza model besar: Penaakulan pemikiran abstrak untuk mengekstrak maklumat utama masalah, dan penaakulan pemikiran konkrit untuk membuat keputusan berdasarkan pelan pelaksanaan tugas , dan penaakulan penyembuhan diri yang mencari penyelesaian berdasarkan masalah. Penyahgandingan keupayaan ini membantu model besar mengelakkan kegagalan yang disebabkan oleh kekeliruan dalam rantaian penaakulan biasa (Chain-of-Thought, CoT), dan secara berkesan meningkatkan kebolehsuaian dan prestasi model besar kepada tugasan.

Penilaian Eksperimen PENCIPTA

Pengarang membandingkan rangka kerja PENCIPTA dengan kaedah rantaian penaakulan biasa (CoT), kaedah rantaian penaakulan program (Program-of-Thought, PoT ) dan Penggunaan alat mudah tanpa penciptaan dibandingkan. Pada masa yang sama, untuk mengesahkan keberkesanan memisahkan penaakulan abstrak dan penaakulan konkrit dalam rangka kerja, penulis juga memperkenalkan Alat Cipta - keseluruhan sebagai garis dasar Kaedah ini menggabungkan fasa penciptaan dan fasa membuat keputusan dalam rangka kerja PENCIPTA satu. Tiada lagi decoupling keupayaan penaakulan.

Masalah Set Data Cabaran Penciptaan, Alat Standard dan Contoh Membuat Keputusan

Prestasi rangka kerja PENCIPTA pada set data MATH lebih tinggi daripada kaedah inferens lain dan aplikasi alat mudah

Dari segi pemilihan set data, penulis memilih set data MATH dan TabMWP sebagai pengesahan utama. Yang pertama termasuk masalah matematik yang sukar dalam pertandingan matematik Amerika, manakala yang kedua menggabungkan masalah dengan jadual data yang kaya kedua-duanya menguji penaakulan masalah dan keupayaan menyelesaikan model dalam pelbagai senario. Selain itu, penulis juga memperkenalkan set data Cabaran Penciptaan yang baru dibina, di mana masalah tidak dapat diselesaikan secara langsung oleh alatan atau pakej kod sedia ada, sekali gus menguji keupayaan model untuk mencipta alatan.

dalam set data TabMWP dan Kesan rangka kerja PENCIPTA pada Cabaran Penciptaan juga jauh lebih kuat

Daripada keputusan percubaan, hasil penaakulan rangka kerja PENCIPTA adalah jauh lebih baik daripada semua garis dasar, terutamanya berbanding kaedah penaakulan standard dan kaedah penaakulan program, mereka telah mencapai hasil yang lebih baik. Pada masa yang sama, eksperimen juga membuktikan bahawa keupayaan penaakulan abstrak dan konkrit boleh membantu model meningkatkan ketepatan dengan berkesan. Pada set ujian Cabaran Penciptaan, penulis juga mengesahkan bahawa model itu akan mempunyai keupayaan yang lebih kuat untuk menyelesaikan masalah jika terdapat petunjuk tentang alat yang hendak dibuat. Oleh itu, gesaan dan pemikiran decoupling juga telah menjadi faktor penting dalam penciptaan alat.

Statistik ketepatan kaedah berbeza untuk kesukaran tugasan

Kesannya dipertingkatkan dengan penyertaan fasa pembetulan

Selain itu, penulis juga mengesahkan lengkung perubahan kaedah yang berbeza untuk kesukaran tugasan, serta hubungan antara bilangan pusingan penyertaan dalam peringkat pembetulan dan penambahbaikan model besar kesan. Hasilnya menunjukkan bahawa rangka kerja PENCIPTA dapat mengekalkan keteguhan yang lebih baik dalam menghadapi masalah yang sukar, dan penyertaan dalam fasa pembetulan boleh meningkatkan bukan sahaja rangka kerja PENCIPTA, malah kaedah penaakulan PoT Mengesahkan rasional dan keberkesanan memperkenalkan fasa pembetulan dalam eksperimen.

Selain percubaan utama, pengarang artikel juga menumpukan pada kelebihan lain penciptaan alat dan besar semasa -keupayaan penciptaan alat model bentuk persembahan yang berbeza. Oleh kerana ia adalah alat penciptaan, salah satu kelebihannya sebagai alat mestilah kebolehgunaannya semula. Penulis juga mengikuti idea ini untuk menunjukkan lagi peningkatan kesan tugasan melalui penggunaan semula alatan.

Pengarang mereka 300 soalan dan membahagikannya kepada 100 kumpulan tiga. Walaupun ketiga-tiga soalan dalam setiap kumpulan mempunyai senario yang berbeza, semuanya melibatkan pengetahuan teras (Core Knowledge) yang sama, iaitu soalan yang serupa. Pengarang mengesahkan sama ada menggunakan alat yang dicipta untuk satu masalah dalam semua senario dalam satu set masalah boleh menyelesaikan dan meningkatkan ketepatan dengan berkesan.

Alat yang dicipta untuk model besar boleh dipindahkan kepada masalah lain, yang boleh meningkatkan ketepatan dengan berkesan

Statistik eksperimen menunjukkan bahawa memindahkan alat yang betul dan boleh digunakan yang dicipta oleh model kepada senario masalah lain yang serupa boleh meningkatkan ketepatan penyelesaian masalah dengan berkesan. Ini menunjukkan bahawa alat yang dicipta oleh model besar mempunyai kebolehgunaan semula yang baik dan juga mempunyai kesejagatan yang baik untuk masalah yang serupa.

Selain itu, penulis juga menunjukkan tiga dimensi penciptaan alat menggunakan model besar: Merangkum alat sedia ada untuk mencapai tujuan yang berbeza, dan menggabungkan alat yang berbeza Laksanakan fungsi sasaran , dan cipta alatan hierarki. Tiga dimensi ini daripada rendah ke tinggi menunjukkan keupayaan alatan model besar semasa, dan keupayaan ini turut membantu model besar menyesuaikan diri dengan senario berbeza dengan lebih cekap.

Tiga dimensi penciptaan alat model besar

Rangka kerja PENCIPTA mencapai penyahgandingan abstraksi model besar dan keupayaan pemikiran konkrit melalui penciptaan alat Ia merupakan satu lagi kejayaan besar dalam meneroka kelebihan keupayaan model selepas pembelajaran alat. Saya percaya bahawa lebih banyak penyelidikan pada masa hadapan akan berdasarkan perkara ini, terus membuktikan dan meningkatkan potensi model dalam penggunaan dan penciptaan alatan, dan membawa lebih banyak kejutan kepada kami.

Qian Cheng, pelajar sarjana muda tahun ketiga di Universiti Tsinghua, ahli makmal THUNLP dan mentor Liu Zhiyuan. Arah penyelidikan semasa termasuk pra-latihan model besar, penalaan halus yang cekap model besar, dan pembelajaran alatan. Beliau telah dianugerahkan Biasiswa Pengkomputeran Komprehensif Cemerlang Universiti Tsinghua dan menerbitkan kertas kerja sebagai pengarang bersama dalam persidangan antarabangsa seperti EMNLP dan ACL.

Halaman utama peribadi: https://qiancheng0.github.io/

Atas ialah kandungan terperinci CREATOR membuat dan menggunakan alatan untuk merealisasikan 'evolusi diri' LLM. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!