Kertas DeepMind yang diterbitkan dalam Nature: Masalah yang menyusahkan ahli matematik selama beberapa dekad, model besar menemui penyelesaian baharu

Sebagai teknologi teratas dalam bidang kecerdasan buatan tahun ini, model bahasa besar (LLM) pandai menggabungkan konsep dan membantu orang ramai menyelesaikan masalah melalui pembacaan, pemahaman, penulisan dan pengekodan. Tetapi bolehkah mereka menemui pengetahuan baru sepenuhnya?

Memanfaatkan LLM untuk penemuan yang boleh disahkan betul adalah tugas yang mencabar memandangkan LLM telah terbukti mengalami masalah "halusinasi", iaitu menjana maklumat yang tidak konsisten dengan fakta

Sekarang, pasukan penyelidik Google DeepMind telah mencadangkan cara baharu untuk mencari penyelesaian kepada masalah matematik dan sains komputer - FunSearch. FunSearch berfungsi dengan menggandingkan LLM yang telah terlatih (yang menyediakan penyelesaian kreatif dalam bentuk kod komputer) dengan "penilai" automatik untuk mengelakkan halusinasi dan idea yang salah. Dengan berulang-alik antara kedua-dua komponen ini, penyelesaian awal berkembang menjadi "pengetahuan baharu." Kertas kerja berkaitan diterbitkan dalam jurnal Nature.

Alamat kertas: https://www.nature.com/articles/s41586-023-06924-6

Karya ini adalah yang pertama menggunakan LLM dalam sains atau masalah terbuka yang mencabar Buat penemuan baru.

FunSearch menemui penyelesaian baharu kepada masalah set had, masalah berterusan yang tidak dapat diselesaikan dalam matematik. Selain itu, DeepMind juga menggunakan penyelesaian ini untuk meneroka algoritma yang lebih cekap untuk menyelesaikan masalah "tinju", yang digunakan secara meluas dalam banyak bidang, seperti meningkatkan kecekapan pusat data. Menunjukkan nilai praktikal FunSearch

Pasukan penyelidik percaya bahawa FunSearch akan menjadi alat saintifik yang sangat berkuasa kerana program yang dikeluarkannya mendedahkan cara penyelesaian mereka dibina, bukan hanya penyelesaiannya. Ini akan merangsang pandangan lebih lanjut daripada saintis, mewujudkan kitaran murni penambahbaikan dan penemuan saintifik.

Pacu penemuan melalui evolusi model bahasa

FunSearch menggunakan algoritma evolusi yang dikuasakan oleh LLM untuk menggalakkan dan memacu idea dan idea pemarkahan tertinggi. Idea dan idea ini boleh dinyatakan sebagai program komputer supaya ia boleh dijalankan dan dinilai secara automatik

Pertama, pengguna perlu menulis penerangan masalah dalam bentuk kod. Penerangan ini harus merangkumi proses menilai program dan program benih yang digunakan untuk memulakan kumpulan program

FunSearch ialah proses berulang. Dalam setiap lelaran, sistem memilih beberapa program daripada kumpulan program semasa dan menyerahkannya kepada LLM. LLM membina asas ini dan menjana program baharu, yang kemudiannya dinilai secara automatik. Program terbaik akan ditambah kembali ke perpustakaan sedia ada, mewujudkan kitaran peningkatan diri. FunSearch menggunakan PaLM 2 Google, tetapi juga serasi dengan kaedah terlatih kod lain

LLM mendapatkan semula atur cara terbaik yang dihasilkan daripada pangkalan data program dan diminta untuk menjana program yang lebih baik.

Seperti yang kita sedia maklum, meneroka pengetahuan dan algoritma matematik baharu dalam pelbagai bidang adalah tugas yang sangat mencabar, yang selalunya di luar kemampuan sistem kecerdasan buatan yang paling canggih semasa. Untuk membuat FunSearch memenuhi tugas itu, pasukan penyelidik memperkenalkan beberapa komponen utama. FunSearch tidak bermula dari awal, tetapi bermula dari akal fikiran masalah, dan menggunakan proses evolusi untuk menumpukan pada mencari idea paling kritikal untuk mencapai penemuan baharu

Selain itu, proses evolusi FunSearch menggunakan strategi untuk meningkatkan kepelbagaian idea untuk mengelakkan genangan. Akhir sekali, untuk meningkatkan kecekapan sistem, proses evolusi dijalankan secara selari.

Memecah tanah baharu dalam matematik

DeepMind berkata bahawa perkara pertama yang mereka mahu selesaikan ialah masalah set Cap, masalah terbuka yang membingungkan ahli matematik dalam pelbagai bidang penyelidikan selama beberapa dekad. Ahli matematik terkenal Terence Tao pernah menyifatkan ia sebagai masalah terbuka kegemarannya. DeepMind memilih untuk bekerja dengan Jordan Ellenberg, seorang profesor matematik di Universiti Wisconsin-Madison yang merupakan satu kejayaan penting dalam masalah set Cap.

Masalah penting ialah mencari set mata terbesar (dipanggil "set topi") dalam grid berdimensi tinggi supaya tiada tiga titik di dalamnya adalah kolinear. Kepentingan masalah ini ialah ia boleh menjadi model untuk masalah lain dalam kombinatorik ekstrem. Kombinatorik ekstrem mengkaji saiz minimum atau maksimum yang boleh dimiliki oleh koleksi, yang boleh berupa nombor, grafik atau objek lain. Penyelesaian brute force tidak akan menyelesaikan masalah ini - bilangan kemungkinan yang perlu dipertimbangkan akan dengan cepat melebihi bilangan atom di alam semesta

Penyelesaian yang dijana secara atur cara FunSearch dalam beberapa kes telah menemui set topi terbesar yang pernah dibuat. Ini mewakili peningkatan terbesar dalam saiz set topi dalam tempoh 20 tahun yang lalu. Tambahan pula, FunSearch mengatasi penyelesai pengiraan terkini kerana skala masalah jauh melebihi keupayaan semasa mereka.

Carta interaktif yang menunjukkan evolusi daripada program benih (atas) kepada fungsi baru markah tinggi (bawah). Setiap bulatan mewakili program dan saiznya adalah berkadar dengan skor yang diberikan kepadanya. Hanya orang atasan program bawah ditunjukkan dalam rajah. Fungsi sepadan yang dijana oleh FunSearch untuk setiap nod ditunjukkan di sebelah kanan.

Hasil ini menunjukkan bahawa teknologi FunSearch boleh membolehkan manusia melampaui keputusan yang ditetapkan mengenai masalah gabungan yang sukar di mana sukar untuk membina gerak hati. DeepMind menjangka pendekatan ini memainkan peranan dalam penemuan baharu tentang masalah teori yang serupa dalam kombinatorik dan, pada masa hadapan, membawa kemungkinan baharu kepada bidang seperti teori komunikasi.

FunSearch lebih mengutamakan program yang ringkas dan boleh difahami oleh manusia

Walaupun penemuan pengetahuan matematik baharu adalah penting dengan sendirinya, kaedah FunSearch juga menunjukkan kelebihan lain berbanding teknik carian komputer tradisional. Ini kerana FunSearch bukan kotak hitam yang hanya menjana penyelesaian kepada masalah. Sebaliknya, ia menjana program yang menerangkan cara penyelesaian tersebut dicapai. Jenis "tunjukkan kerja anda" ini biasanya adalah cara para saintis bekerja, menerangkan penemuan atau fenomena baharu dengan menerangkan proses yang menimbulkannya.

FunSearch lebih suka mencari penyelesaian dengan kerumitan Kolmogorov yang lebih rendah, yang mewakili program yang sangat padat. Kerumitan Kolmogorov merujuk kepada panjang program komputer terpendek yang diperlukan untuk mengeluarkan penyelesaian. Dengan menggunakan program pendek, FunSearch boleh menerangkan objek yang sangat besar dan dengan itu dapat menangani masalah yang sangat kompleks. Selain itu, ini juga memudahkan penyelidik memahami output program yang dijana oleh FunSearch. Ellenberg berkata: "FunSearch menyediakan mekanisme baharu sepenuhnya untuk membangunkan strategi mogok. Penyelesaian yang dihasilkan melalui FunSearch secara konsep lebih kaya daripada senarai nombor semata-mata. Saya belajar sesuatu dengan mengkajinya

Lebih penting lagi, kebolehtafsiran FunSearch ini." program boleh menyediakan penyelidik dengan pandangan yang boleh diambil tindakan. Sebagai contoh, semasa menggunakan FunSearch, DeepMind melihat simetri yang menarik dalam kod beberapa output berskor tingginya. Ini memberi DeepMind pemahaman baharu tentang masalah itu, yang mereka gunakan untuk memperbaiki masalah yang FunSearch diperkenalkan untuk mencari penyelesaian yang lebih baik. DeepMind percaya bahawa ini adalah contoh terbaik kerjasama manusia dengan FunSearch mengenai banyak masalah dalam matematik.

Kiri: Dengan memeriksa kod yang dijana oleh FunSearch, DeepMind memperoleh lebih banyak cerapan yang boleh diambil tindakan (diserlahkan). Kanan: Set asal "boleh diterima" dibina menggunakan program (lebih pendek) di sebelah kiri.

Menyelesaikan masalah pengiraan yang terkenal

Diinspirasikan oleh kejayaan masalah set topi teori, DeepMind memutuskan untuk menggunakan FunSearch kepada cabaran praktikal yang penting dalam sains komputer - masalah pembungkusan tong sampah. Masalah pembungkusan berkenaan dengan cara membungkus item dengan saiz yang berbeza ke dalam bilangan kotak minimum. Ia adalah nadi kepada banyak masalah dunia sebenar, daripada kontena penghantaran yang menyimpan item kepada pengedaran kerja pengkomputeran di pusat data, di mana kos perlu diminimumkan.

Biasanya, menyelesaikan masalah binning dalam talian menggunakan peraturan algoritma heuristik berdasarkan pengalaman manusia. Walau bagaimanapun, membangunkan satu set peraturan untuk setiap situasi tertentu (berbeza dalam saiz, masa atau kapasiti) adalah sangat mencabar. Walaupun sangat berbeza daripada masalah set cap, ia sangat mudah untuk menyelesaikan masalah ini menggunakan FunSearch. FunSearch menyediakan program tersuai secara automatik yang boleh menyesuaikan diri dengan data mengikut situasi tertentu, dan ia boleh menggunakan lebih sedikit kotak untuk memuatkan bilangan item yang sama berbanding dengan heuristik sedia ada

Menggunakan heuristik sedia ada Contoh binning menggunakan Heuristik paling sesuai (kiri) dan heuristik yang ditemui oleh FunSearch (kanan).

Masalah gabungan kompleks seperti binning dalam talian boleh diselesaikan menggunakan kaedah kecerdasan buatan lain, seperti rangkaian saraf dan pembelajaran pengukuhan. Kaedah ini juga telah terbukti berkesan, tetapi mungkin juga memerlukan sumber yang besar untuk digunakan. Sebaliknya, FunSearch mengeluarkan kod yang mudah untuk diperiksa dan digunakan, bermakna penyelesaiannya berpotensi untuk digunakan pada pelbagai sistem perindustrian dunia sebenar, dengan cepat membawa faedah.

DeepMind: Menggunakan model besar untuk menangani cabaran saintifik akan menjadi amalan biasa

FunSearch membuktikan bahawa jika LLM boleh dihalang daripada berhalusinasi, kuasa model ini boleh digunakan bukan sahaja untuk menjana penemuan matematik baharu, tetapi juga untuk mendedahkan penyelesaian Potensi penting kepada masalah dunia sebenar.

DeepMind percaya bahawa untuk banyak masalah dalam sains dan industri – yang telah lama wujud dan baharu – menggunakan kaedah dipacu LLM untuk menjana algoritma yang cekap dan disesuaikan akan menjadi amalan biasa.

Sebenarnya ini baru permulaan. Memandangkan LLM terus membuat kemajuan, FunSearch akan terus bertambah baik. DeepMind berkata mereka juga akan berusaha untuk mengembangkan keupayaannya untuk menangani pelbagai cabaran saintifik dan kejuruteraan yang mendesak dalam masyarakat.

Atas ialah kandungan terperinci Kertas DeepMind yang diterbitkan dalam Nature: Masalah yang menyusahkan ahli matematik selama beberapa dekad, model besar menemui penyelesaian baharu. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!