Yann LeCun berkata model gergasi tidak dapat mencapai matlamat mendekati kecerdasan manusia

"Bahasa hanya membawa sebahagian kecil daripada semua pengetahuan manusia; kebanyakan pengetahuan manusia dan semua pengetahuan haiwan adalah bukan linguistik; oleh itu, model bahasa yang besar tidak boleh mendekati kecerdasan peringkat manusia Ini adalah pemenang Anugerah Turing Yann LeCun." pemikiran terkini tentang prospek kecerdasan buatan.

Semalam, artikel baharunya yang dikarang bersama dengan postdoc Universiti New York Jacob Browning telah diterbitkan dalam "NOEMA", mencetuskan Perbincangan rakyat.

Dalam artikel itu, penulis membincangkan model bahasa berskala besar yang popular pada masa ini dan percaya bahawa ia mempunyai had yang jelas. Hala tuju usaha masa depan dalam bidang AI mungkin memberi keutamaan kepada mesin dalam memahami tahap pengetahuan lain di dunia nyata.

Mari kita lihat apa yang mereka katakan. ​

Beberapa masa lalu, bekas penyelidik etika Google AI Blake Lemoine mendakwa bahawa AI ​​chatbot LaMDA adalah sedar seperti manusia, yang menyebabkan kekecohan di lapangan.

LaMDA sebenarnya ialah Model Bahasa Besar (LLM) yang direka untuk meramalkan kemungkinan perkataan seterusnya untuk mana-mana teks tertentu. Memandangkan banyak perbualan boleh diramal pada tahap tertentu, sistem ini boleh membuat kesimpulan bagaimana untuk memastikan perbualan itu cekap. LaMDA melakukan tugas yang begitu baik dalam tugas seperti ini sehingga Blake Lemoine mula tertanya-tanya sama ada AI mempunyai "kesedaran."

Penyelidik dalam bidang ini mempunyai pandangan berbeza tentang perkara ini: sesetengah orang mengejek idea mesin sedar; sesetengah orang berpendapat bahawa model LaMDA mungkin tidak, tetapi model seterusnya mungkin sedar. Yang lain menunjukkan bahawa tidak sukar bagi mesin untuk "menipu" manusia.

Kepelbagaian respons menyerlahkan masalah yang lebih mendalam: Apabila LLM menjadi lebih biasa dan berkuasa, nampaknya semakin sukar untuk bersetuju dengan pandangan kami tentang model ini. Selama bertahun-tahun, sistem ini telah mengatasi banyak penanda aras penaakulan bahasa "akal sehat", tetapi sistem ini nampaknya mempunyai sedikit akal sehat yang komited apabila diuji, malah cenderung kepada karut dan membuat cadangan yang tidak logik dan berbahaya. Ini menimbulkan persoalan yang membimbangkan: Bagaimanakah sistem ini boleh menjadi begitu pintar tetapi mempunyai keupayaan terhad? ​

Malah, masalah paling asas bukanlah kecerdasan buatan, tetapi keterbatasan bahasa. Sebaik sahaja kita melepaskan andaian tentang hubungan antara kesedaran dan bahasa, sistem ini ditakdirkan untuk hanya mempunyai pemahaman yang cetek tentang dunia dan tidak pernah mendekati "pemikiran komprehensif" manusia. Ringkasnya, walaupun model ini sudah menjadi sebahagian daripada sistem AI yang paling mengagumkan di planet ini, sistem AI ini tidak akan pernah sepintar kita manusia.

Bagi kebanyakan abad ke-19 dan ke-20, tema utama dalam falsafah dan sains ialah: pengetahuan hanyalah bahasa. Ini bermakna memahami sesuatu ialah memahami isi satu ayat dan mengaitkan ayat tersebut dengan ayat yang lain. Menurut logik ini, bentuk bahasa yang ideal ialah bentuk logik-matematik yang terdiri daripada simbol-simbol arbitrari yang disambungkan oleh peraturan inferens yang ketat.

Ahli falsafah Wittgenstein berkata: "Jumlah cadangan yang benar ialah sains semula jadi."

Sesetengah intelektual yang berpendidikan tinggi masih berpegang pada pandangan: "Segala sesuatu yang kita boleh tahu boleh terkandung dalam ensiklopedia, jadi dengan membaca semua kandungan ensiklopedia itu akan menjadikan Kita mempunyai pemahaman yang menyeluruh tentang segala-galanya." Pandangan ini juga memberi inspirasi kepada kebanyakan kerja awal tentang AI Simbolik, yang termasuk pemprosesan simbolik sebagai paradigma lalai. Bagi penyelidik ini, pengetahuan AI terdiri daripada pangkalan data besar ayat sebenar yang disambungkan antara satu sama lain melalui logik manual Matlamat sistem AI adalah untuk mengeluarkan ayat yang betul pada masa yang tepat, iaitu, untuk memproses simbol dengan cara yang sesuai. .

Konsep ini adalah asas ujian Turing: jika mesin "mengatakan" semua yang sepatutnya dikatakan, bermakna ia tahu apa yang dikatakan kerana ia tahu Ayat yang betul dan bila hendak menggunakannya gunakan pengetahuan kecerdasan buatan di atas.

Tetapi pandangan ini telah dikritik hebat kerana hanya kerana mesin boleh bercakap tentang sesuatu, ia tidak bermakna ia memahami apa yang diperkatakan. Ini kerana bahasa hanyalah representasi pengetahuan yang sangat spesifik dan sangat terhad. Semua bahasa, sama ada bahasa pengaturcaraan, bahasa logik simbolik, atau bahasa pertuturan harian, membolehkan jenis mod perwakilan tertentu ia bagus untuk menyatakan objek dan sifat diskret dan hubungan antara mereka pada tahap abstraksi yang sangat tinggi.

Walau bagaimanapun, semua mod perwakilan melibatkan pemampatan maklumat tentang sesuatu, tetapi berbeza dalam apa yang tertinggal dan apa yang tertinggal dalam pemampatan. Mod perwakilan bahasa mungkin terlepas beberapa maklumat khusus, seperti menerangkan bentuk tidak sekata, pergerakan objek, fungsi mekanisme kompleks, atau sapuan berus yang teliti dalam lukisan, dsb. Sesetengah skema perwakilan bukan linguistik boleh menyatakan maklumat ini dengan cara yang mudah difahami, termasuk pengetahuan ikonik, pengetahuan yang diedarkan, dsb.

Keterbatasan Bahasa

Untuk memahami kelemahan model perwakilan bahasa, kita mesti sedar terlebih dahulu betapa banyak maklumat yang disampaikan oleh bahasa. Sebenarnya, bahasa ialah kaedah penghantaran maklumat dengan jalur lebar yang sangat rendah, terutamanya apabila perkataan atau ayat terpencil menyampaikan sedikit maklumat tanpa konteks. Tambahan pula, makna banyak ayat adalah sangat samar-samar kerana bilangan homofon dan kata ganti nama yang banyak. Seperti yang dinyatakan oleh penyelidik seperti Chomsky: Bahasa bukanlah alat komunikasi yang jelas dan tidak jelas.

Tetapi manusia tidak memerlukan alat komunikasi yang sempurna kerana kita berkongsi pemahaman yang sama tentang bahasa bukan lisan. Pemahaman kita tentang ayat selalunya bergantung pada pemahaman yang mendalam tentang konteks di mana ayat itu diletakkan, membolehkan kita membuat kesimpulan makna ungkapan linguistik. Kami sering bercakap secara langsung tentang perkara yang dihadapi, seperti perlawanan bola sepak. Atau berkomunikasi dengan peranan sosial dalam situasi, seperti memesan makanan daripada pelayan.

Begitu juga dengan membaca petikan teks—tugas yang melemahkan akses AI kepada akal sehat tetapi merupakan cara popular untuk mengajar kemahiran pemahaman bacaan tanpa konteks kepada kanak-kanak. Pendekatan ini memfokuskan pada menggunakan strategi pemahaman bacaan umum untuk memahami teks—tetapi penyelidikan menunjukkan bahawa jumlah pengetahuan latar belakang yang dimiliki oleh kanak-kanak tentang topik itu sebenarnya merupakan faktor utama dalam pemahaman. Memahami sama ada ayat atau perenggan itu betul atau tidak bergantung pada pemahaman asas tentang perkara itu. ​

"Adalah jelas bahawa sistem ini terperangkap dalam pemahaman yang cetek dan tidak akan pernah mendekati keseluruhan pemikiran manusia." >Perkataan dan sifat kontekstual yang wujud dalam ayat adalah teras kerja LLM. Rangkaian saraf biasanya mewakili pengetahuan sebagai pengetahuan, iaitu, kebolehan mahir untuk memahami corak yang sangat sensitif konteks dan untuk menyamaratakan keteraturan (konkrit dan abstrak) yang diperlukan untuk memproses input dengan cara yang terperinci tetapi hanya sesuai untuk terhad. tugasan.

Dalam LLM, ini mengenai sistem mengenal pasti corak pada berbilang peringkat teks sedia ada, melihat kedua-dua cara perkataan disambungkan dalam perenggan dan cara ayat dibina bersama dalam perenggan yang lebih besar . Hasilnya ialah pemahaman bahasa model tidak dapat dielakkan sensitif konteks. Setiap perkataan difahami bukan mengikut makna kamusnya, tetapi mengikut peranannya dalam pelbagai ayat. Memandangkan banyak perkataan—seperti "karburator," "menu," "penalaan" atau "elektronik"—digunakan hampir secara eksklusif dalam bidang tertentu, malah ayat terpencil dengan salah satu perkataan ini boleh diramalkan akan keluar dari konteks .

Ringkasnya, LLM dilatih untuk memahami pengetahuan latar belakang setiap ayat, melihat perkataan dan ayat di sekeliling untuk menyatukan apa yang sedang berlaku. Ini memberi mereka kemungkinan yang tidak berkesudahan untuk menggunakan ayat atau frasa yang berbeza sebagai input dan menghasilkan cara yang munasabah (walaupun hampir tidak sempurna) untuk meneruskan perbualan atau mengisi artikel yang lain. Sistem yang dilatih mengenai perenggan tulisan manusia untuk digunakan dalam komunikasi harian harus mempunyai pemahaman umum yang diperlukan untuk dapat mengadakan perbualan berkualiti tinggi. ​

Pemahaman cetek

Sesetengah orang enggan menggunakan perkataan "pemahaman" dalam konteks ini atau memanggil LLM "pintar". sesiapa sahaja. Pengkritik menuduh sistem ini sebagai satu bentuk peniruan—dan memang betul. Ini kerana pemahaman bahasa LLM, walaupun mengagumkan, adalah dangkal. Kesedaran dangkal ini terasa biasa: bilik darjah yang penuh dengan pelajar "berbahasa jargon" yang tidak tahu apa yang mereka perkatakan—sebenarnya meniru profesor mereka atau teks yang mereka baca. Ia hanya sebahagian daripada kehidupan. Kita sering tidak jelas tentang apa yang kita ketahui, terutamanya dari segi ilmu yang diperoleh daripada bahasa.

LLM mendapat pemahaman cetek ini tentang segala-galanya. Sistem seperti GPT-3 dilatih dengan menutup sebahagian daripada ayat, atau meramalkan perkataan seterusnya dalam perenggan, memaksa mesin meneka perkataan yang paling mungkin mengisi jurang dan membetulkan tekaan yang salah. Sistem ini akhirnya menjadi mahir meneka perkataan yang paling mungkin, menjadikan dirinya sistem ramalan yang berkesan.

Ini membawa pemahaman sebenar: untuk sebarang soalan atau teka-teki, biasanya terdapat hanya beberapa jawapan yang betul, tetapi bilangan jawapan yang salah tidak terhingga. Ini memaksa sistem untuk mempelajari kemahiran khusus bahasa, seperti mentafsir jenaka, menyelesaikan masalah perkataan, atau menyelesaikan teka-teki logik, untuk meramalkan jawapan yang betul kepada jenis soalan ini secara tetap.

Kemahiran dan pengetahuan berkaitan ini membolehkan mesin menerangkan cara perkara yang kompleks berfungsi, memudahkan konsep yang sukar, menulis semula dan menceritakan semula cerita serta memperoleh banyak kebolehan berkaitan bahasa lain. Seperti yang dinyatakan oleh AI Simbolik - bukannya pangkalan data ayat yang luas yang dikaitkan dengan peraturan logik, mesin mewakili pengetahuan sebagai sorotan kontekstual yang digunakan untuk menghasilkan ayat seterusnya yang munasabah berdasarkan baris sebelumnya.

“Meninggalkan idea bahawa semua pengetahuan adalah lisan membuatkan kita sedar betapa banyak pengetahuan kita adalah bukan lisan.” kebolehan untuk menerangkan sesuatu konsep dalam bahasa adalah berbeza dengan kebolehan untuk menggunakannya dengan sebenarnya. Sistem ini boleh menerangkan cara melakukan pembahagian panjang sementara sebenarnya tidak dapat melakukannya, atau ia boleh menerangkan perkara yang tidak konsisten dengannya tetapi dengan senang hati terus menerangkannya. Pengetahuan kontekstual tertanam dalam satu bentuk - kebolehan untuk menyatakan pengetahuan bahasa secara lisan - tetapi tidak dalam yang lain - sebagai kemahiran dalam cara melakukan sesuatu, seperti bersikap empati atau menangani isu yang sukar secara sensitif.

Kepakaran jenis kedua adalah penting untuk pengguna bahasa, tetapi ia tidak membolehkan mereka menguasai kemahiran bahasa - komponen bahasa bukanlah yang utama. Ini terpakai kepada banyak konsep, malah yang dipelajari daripada kuliah dan buku: Walaupun kelas sains mempunyai komponen kuliah, markah pelajar adalah berdasarkan kerja mereka di makmal. Terutama di luar bidang kemanusiaan, dapat bercakap tentang sesuatu selalunya tidak berguna atau penting seperti kemahiran asas yang diperlukan untuk membuat sesuatu berfungsi.

Setelah kita menggali lebih dalam, mudah untuk melihat betapa ceteknya sistem ini sebenarnya: jarak perhatian dan ingatan mereka secara kasarnya bersamaan dengan perenggan. Mudah terlepas perkara ini jika kita sedang berbual, kerana kita cenderung menumpukan pada satu atau dua komen terakhir dan bergelut dengan balasan seterusnya.

Tetapi helah kepada perbualan yang lebih kompleks – mendengar secara aktif, mengingat dan menyemak semula ulasan terdahulu, berpegang kepada topik untuk membuat perkara tertentu sambil mengelakkan gangguan, dsb. – Semua memerlukan lebih perhatian dan ingatan daripada yang dimiliki oleh mesin.

Ini mengurangkan lagi jenis perkara yang boleh mereka fahami: mudah untuk menipu mereka dengan menukar topik, menukar bahasa atau menjadi pelik setiap beberapa minit. Berundur terlalu jauh dan sistem akan bermula semula dari awal, menggabungkan pandangan baharu anda dengan ulasan lama, bertukar bahasa sembang dengan anda atau mempercayai apa sahaja yang anda katakan. Pemahaman yang diperlukan untuk membangunkan pandangan dunia yang koheren adalah jauh melebihi kemampuan mesin. ​

Beyond Language

Meninggalkan idea bahawa semua pengetahuan adalah linguistik menyedarkan kita bahawa sebahagian besar daripada pengetahuan kita adalah bukan linguistik. Walaupun buku mengandungi banyak maklumat yang boleh kami bongkar dan gunakan, perkara yang sama berlaku untuk banyak item lain: Arahan IKEA tidak perlu menulis kapsyen di sebelah gambar rajah, dan penyelidik AI sering melihat gambar rajah dalam kertas untuk memahami seni bina rangkaian sebelum ini. Dengan menyemak imbas teks, pengembara boleh mengikuti garis merah atau hijau pada peta untuk menavigasi ke tempat yang mereka mahu pergi.

Pengetahuan di sini melangkaui ikon, carta dan peta ringkas. Manusia telah belajar banyak secara langsung daripada meneroka dunia, menunjukkan kepada kita perkara dan orang boleh dan tidak boleh ungkapkan. Struktur jirim dan persekitaran manusia menyampaikan banyak maklumat secara visual: tombol pintu berada pada ketinggian tangan, pemegang tukul lebih lembut, dsb. Simulasi mental bukan lisan dalam haiwan dan manusia adalah biasa dan berguna untuk merancang senario dan boleh digunakan untuk mencipta atau membalikkan artifak jurutera.

Begitu juga, dengan meniru adat dan ritual sosial, kita boleh mengajar pelbagai kemahiran kepada generasi akan datang, daripada menyediakan makanan dan ubat-ubatan kepada menenangkan diri semasa masa yang tertekan. Kebanyakan pengetahuan budaya kita adalah ikonik, atau dalam bentuk pergerakan tepat yang diturunkan daripada pengamal mahir kepada perantis. Corak maklumat yang halus ini sukar untuk diungkapkan dan disampaikan dengan kata-kata, tetapi masih boleh difahami oleh orang lain. Ini juga merupakan jenis maklumat kontekstual yang tepat yang rangkaian saraf pandai mengambil dan memperhalusi.

"Sistem yang dilatih semata-mata pada bahasa tidak akan mendekati kecerdasan manusia, walaupun ia dilatih dari sekarang sehingga kematian alam semesta." >

Bahasa adalah penting kerana ia dapat menyampaikan sejumlah besar maklumat dalam format yang kecil, terutamanya dengan kemunculan percetakan dan Internet, yang membolehkan kandungan diterbitkan semula dan diedarkan secara meluas. Tetapi memampatkan maklumat dengan bahasa tidak datang tanpa kos: menyahkod laluan padat memerlukan banyak usaha. Kelas kemanusiaan mungkin memerlukan pembacaan luar yang meluas, dengan banyak masa kelas dihabiskan untuk membaca petikan yang sukar. Membina pemahaman yang mendalam memakan masa dan susah payah, tetapi bermaklumat.

Ini menjelaskan mengapa mesin terlatih bahasa boleh mengetahui begitu banyak tetapi tidak memahami apa-apa - ia mengakses sebahagian kecil pengetahuan manusia melalui kesesakan kecil. Tetapi cebisan kecil pengetahuan manusia itu boleh mengenai apa sahaja, sama ada cinta atau astrofizik. Jadi ia agak seperti cermin: ia memberikan ilusi kedalaman dan boleh memantulkan hampir semua perkara, tetapi ia hanya setebal satu sentimeter. Jika kita cuba meneroka kedalamannya, kita akan terlanggar tembok.

Lakukan perkara yang betul

Ini tidak menjadikan mesin bodoh, tetapi ini juga menunjukkan bahawa terdapat had yang wujud pada tahap kepintarannya. Sistem yang dilatih semata-mata pada bahasa tidak akan pernah mendekati kecerdasan manusia, walaupun ia dilatih dari sekarang sehingga kematian panas alam semesta. Ini adalah cara yang salah untuk membina sistem pengetahuan. Tetapi jika kita hanya menconteng permukaan, mesin sudah pasti kelihatan semakin hampir dengan manusia. Dan dalam banyak kes, permukaan sudah mencukupi. Segelintir daripada kita benar-benar menggunakan Ujian Turing kepada orang lain, secara aktif mempersoalkan kedalaman pemahaman mereka dan memaksa mereka melakukan masalah pendaraban berbilang digit. Kebanyakan perbualan adalah perbualan kecil.

Walau bagaimanapun, kita tidak seharusnya mengelirukan pemahaman cetek yang LLM miliki dengan pemahaman mendalam yang diperoleh manusia dengan memerhati keajaiban dunia, menerokainya, mengamalkannya, dan berinteraksi dengan budaya dan orang lain Bercampur bersama. Bahasa mungkin merupakan komponen yang berguna dalam mengembangkan pemahaman kita tentang dunia, tetapi bahasa tidak menghabiskan kecerdasan, satu perkara yang kita fahami daripada tingkah laku banyak spesies, seperti corvid, sotong dan primata. ​

Sebaliknya, pemahaman bukan lisan yang mendalam adalah syarat yang diperlukan untuk bahasa menjadi bermakna. Justru kerana manusia mempunyai pemahaman yang mendalam tentang dunia, kita dapat memahami dengan cepat apa yang orang lain katakan. Pembelajaran dan pengetahuan yang lebih luas dan peka konteks ini adalah pengetahuan purba yang lebih asas yang mendasari kemunculan perasaan biologi fizikal, menjadikan kelangsungan hidup dan kemakmuran mungkin.

Ini juga merupakan tugas yang lebih penting yang difokuskan oleh penyelidik kecerdasan buatan apabila mencari akal dalam kecerdasan buatan. LLM tidak mempunyai badan atau dunia yang stabil untuk dilihat - jadi pengetahuan mereka bermula dan berakhir lebih banyak dengan perkataan, dan akal sehat ini sentiasa cetek. Matlamatnya adalah untuk memfokuskan sistem AI pada dunia yang mereka perkatakan, bukannya perkataan itu sendiri-tetapi LLM tidak memahami perbezaannya. Pemahaman yang mendalam ini tidak boleh dihampiri melalui kata-kata sahaja, yang merupakan hala tuju yang salah.

Pengalaman luas manusia dengan pelbagai model bahasa yang besar jelas menunjukkan betapa sedikit yang boleh diperoleh daripada pertuturan sahaja.

Atas ialah kandungan terperinci Yann LeCun berkata model gergasi tidak dapat mencapai matlamat mendekati kecerdasan manusia. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!