Selepas ditutup oleh Ketua Pegawai Eksekutif OpenAI, Yann LeCun mengkritik sekali lagi: Pemahaman ChatGPT tentang realiti sangat dangkal

Hubungan antara bos kadang-kadang sangat rumit dan mengelirukan.

Semalam, seseorang mendapati bahawa Ketua Pegawai Eksekutif OpenAI Sam Altman telah berhenti mengikuti ketua saintis kecerdasan buatan Meta, Yann LeCun di Twitter.

Adalah sukar bagi kita untuk menentukan masa tertentu apabila penarikan balik ini berlaku, tetapi pada asasnya kita boleh menentukan punca kejadian itu—— Beberapa hari yang lalu, Yann LeCun menyatakan pandangannya tentang ChatGPT pada perhimpunan kecil media dan eksekutif dalam talian beberapa waktu lalu:

"Setakat teknologi asas berkenaan , ChatGPT bukanlah sesuatu yang istimewa Inovasi ini tidak revolusioner Banyak makmal penyelidikan menggunakan teknologi yang sama untuk menjalankan kerja yang sama. 'tiada yang revolusioner', kata ketua saintis AI Meta" Dalam laporan itu, beberapa butiran ucapan LeCun telah didedahkan. Terdapat beberapa komen yang menakjubkan:

"Berbanding dengan makmal lain, OpenAI tidak membuat sebarang kemajuan istimewa."

• "The Seni bina Transformer yang digunakan oleh ChatGPT telah dilatih terlebih dahulu dalam cara penyeliaan kendiri ini adalah sesuatu yang saya anjurkan sejak sekian lama, malah sejak sebelum kemunculan OpenAI."
• "Transformer ialah ciptaan Google, dan kerja pada jenis projek bahasa ini bermula sejak beberapa dekad lalu." >Dengan cara ini, tindakan penyingkiran Sam Altman juga boleh dimaafkan.
• Empat jam selepas "menyahsekat" ditemui, Yann LeCun mengemas kini berita dan mengetweet semula artikel "Yin Yang" ChatGPT:

Mengapa model bahasa besar seperti ChatGPT boleh mengeluarkan kata-kata karut yang tidak berkesudahan? Pemahaman mereka tentang realiti sangat cetek

Ada yang tidak bersetuju: "ChatGPT ialah sumber pengetahuan yang luas dan kreativiti yang luar biasa, setelah dilatih mengenai sejumlah besar buku dan sumber maklumat lain." 🎜>

Tiada siapa yang berkata bahawa LLM tidak berguna saya berkata ini saya sendiri semasa keluaran singkat Galactica. Orang menyalibkannya kerana melakukan perkara yang sama seperti ChatGPT tetapi sekali lagi, itu tidak bermakna mereka tidak berfungsi

”

Dalam. sebenarnya, artikel Atlantik ini adalah ulasan kertas kerja dari MIT Cognitive Science Group. Mari lihat kandungan penyelidikan khusus.

Tajuk kertas kerja ini ialah "Dissociating Language and Thought in Large Language Models: a Cognitive Perspective", dan pengarangnya adalah dari University of Texas di Austin, MIT dan UCLA.

Kami tahu bahawa model bahasa besar (LLM) hari ini selalunya dapat menghasilkan petikan teks yang koheren, tatabahasa dan kelihatan bermakna. Pencapaian ini telah mencetuskan spekulasi bahawa

rangkaian ini sudah atau akan menjadi "mesin berfikir", melaksanakan tugas yang memerlukan pengetahuan abstrak dan penaakulan

.

Dalam artikel ini, penulis mempertimbangkan dua aspek berbeza prestasi penggunaan bahasa untuk memerhati keupayaan LLM, seperti berikut:

• Keupayaan bahasa formal, termasuk pengetahuan tentang peraturan dan corak bahasa tertentu; >
• Kebolehan bahasa fungsional , satu set kebolehan persepsi yang diperlukan untuk memahami dan menggunakan bahasa dalam dunia nyata.
Berdasarkan bukti daripada neurosains kognitif, penulis menunjukkan bahawa kebolehan formal manusia bergantung pada mekanisme pemprosesan bahasa tertentu, manakala kebolehan berfungsi memerlukan pelbagai kebolehan di luar bahasa yang membentuk Membangunkan pemikiran kemahiran seperti penaakulan formal, pengetahuan dunia, pemodelan situasi dan kognisi sosial. Sama seperti perbezaan antara dua kebolehan pada manusia,

LLM berprestasi baik (walaupun tidak sempurna) pada tugas yang memerlukan kebolehan bahasa formal, tetapi cenderung gagal dalam banyak ujian yang memerlukan kebolehan berfungsi. Berdasarkan bukti ini, penulis percaya bahawa pertama, LLM moden harus dipandang serius sebagai model dengan kemahiran bahasa formal, dan kedua, model yang bermain dengan penggunaan bahasa kehidupan sebenar perlu untuk digabungkan atau dibangunkan modul bahasa Teras serta pelbagai kebolehan kognitif bukan bahasa khusus yang diperlukan untuk memodelkan pemikiran.

Ringkasnya, mereka berpendapat bahawa perbezaan antara kebolehan bahasa formal dan berfungsi boleh membantu menjelaskan perbincangan mengenai potensi LLM dan menyediakan asas untuk membina pemahaman dan penggunaan bahasa dalam diri manusia. -seperti cara Model menyediakan cara. Kegagalan LLM pada banyak tugas bukan linguistik tidak melemahkan mereka sebagai model yang baik untuk pemprosesan bahasa Jika minda dan otak manusia digunakan sebagai analogi,

Kemajuan masa depan dalam AGI mungkin bergantung pada menggabungkan model bahasa sebagai. serta mewakili pengetahuan abstrak Digabungkan dengan model yang menyokong penaakulan kompleks. Tahap matematik ChatGPT masih perlu dipertingkatkan

LLM kurang keupayaan berfungsi di luar bahasa (seperti penaakulan, dll.), dan OpenAI's ChatGPT ialah contoh. Walaupun

​secara rasmi mengumumkan bahawa keupayaan matematiknya telah dinaik taraf​​​, netizen mengadu bahawa dia hanya boleh menguasai tambah dan tolak dalam tempoh sepuluh. Baru-baru ini dalam makalah "Mathematical Capabilities of ChatGPT", penyelidik dari University of Oxford, University of Cambridge dan institusi lain menguji keupayaan matematik ChatGPT pada tersedia secara umum dan buatan tangan set data, dan mengukur prestasinya terhadap model lain yang dilatih pada korpora matematik seperti Minerva. Pada masa yang sama, kami menguji sama ada ChatGPT boleh dipanggil pembantu berguna untuk ahli matematik profesional dengan mensimulasikan pelbagai kes penggunaan yang timbul dalam aktiviti profesional harian ahli matematik (soal jawab, carian teorem).

Penyelidik telah memperkenalkan dan mendedahkan set data baharu kepada umum - HANTU, yang merupakan set data bahasa semula jadi pertama yang dihasilkan dan diuruskan oleh penyelidik matematik, meliputi matematik peringkat siswazah, dan Tinjauan menyeluruh tentang keupayaan matematik model bahasa. Mereka menanda aras ChatGPT pada GHOSTS dan menilai prestasi berdasarkan kriteria yang terperinci.

Keputusan ujian menunjukkan bahawa

Keupayaan matematik ChatGPT jauh lebih rendah berbanding pelajar lepasan matematik biasa Ia biasanya boleh memahami soalan tetapi tidak dapat memberikan jawapan yang betul . Keahlian ChatGPT Plus tersedia dengan harga AS$20 sebulan

Dalam apa jua keadaan, kejayaan komersial ChatGPT jelas kepada semua.

Sebentar tadi, OpenAI mengumumkan “ChatGPT Plus”, perkhidmatan keahlian berbayar baharu sebanyak AS$20 sebulan.

• Akses sejagat ke ChatGPT, walaupun semasa tempoh puncak; untuk mendapatkan ciri dan penambahbaikan baharu.
• OpenAI berkata ia akan menghantar jemputan ke perkhidmatan itu "dalam minggu-minggu akan datang" kepada orang di Amerika Syarikat dan dalam senarai menunggunya, dan berkata ia akan Mempromosikan ke negara lain dan wilayah.
• Lebih seminggu yang lalu, terdapat berita bahawa OpenAI akan melancarkan versi tambah atau pro perkhidmatan ChatGPT pada harga AS$42 sebulan, tetapi harga akhir US$20 sebulan jelas sekali Jadikan perkhidmatan itu boleh diakses oleh kumpulan orang yang lebih luas, termasuk pelajar dan perniagaan.

Dalam satu cara, ini akan menetapkan standard pembayaran untuk mana-mana AI chatbot di pasaran yang ingin dilancarkan. Memandangkan OpenAI adalah perintis dalam bidang ini, jika syarikat lain cuba mengeluarkan bot yang membayar lebih daripada $20 sebulan, mereka mesti terlebih dahulu menerangkan satu perkara - mengapa chatbot mereka bernilai lebih daripada ChatGPT Plus?

Atas ialah kandungan terperinci Selepas ditutup oleh Ketua Pegawai Eksekutif OpenAI, Yann LeCun mengkritik sekali lagi: Pemahaman ChatGPT tentang realiti sangat dangkal. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!