Manfaatkan kuasa alam semesta untuk memecahkan data! 'Rangkaian fizikal' jauh mengatasi rangkaian saraf dalam

Artikel ini diterbitkan semula daripada Lei Feng.com Jika anda perlu mencetak semula, sila pergi ke tapak web rasmi Lei Feng.com untuk memohon kebenaran.

Di dalam peti kalis bunyi terletak salah satu rangkaian saraf paling teruk di dunia. Selepas melihat imej nombor 6, rangkaian saraf berhenti seketika dan kemudian memaparkan nombor yang dikenalinya: 0.

Peter McMahon, seorang ahli fizik dan jurutera di Universiti Cornell yang mengetuai pembangunan rangkaian saraf ini, berkata dengan senyuman malu bahawa ini adalah kerana nombor tulisan tangan kelihatan sangat ceroboh. Logan Wright, postdoc yang melawat makmal McMahon dari Institut NTT, berkata peranti itu biasanya memberikan jawapan yang betul, walaupun dia mengakui bahawa kesilapan adalah perkara biasa. Walaupun prestasinya biasa-biasa saja, rangkaian saraf ini merupakan penyelidikan yang cemerlang. Para penyelidik membalikkan peti, mendedahkan bukan cip komputer tetapi mikrofon yang dicondongkan ke arah plat titanium yang dilekatkan pada pembesar suara.

Tidak seperti rangkaian saraf yang beroperasi dalam dunia digital 0s dan 1s, peranti ini beroperasi berdasarkan prinsip bunyi. Apabila Wright diberi imej nombor, piksel imej itu ditukar kepada audio, dan pembesar suara menggetarkan plat titanium, memenuhi makmal dengan bunyi kicauan yang lemah. Dalam erti kata lain, gema logam yang melakukan operasi "membaca", bukan perisian yang berjalan pada cip silikon.

Kejayaan peranti ini adalah luar biasa, walaupun untuk perekanya. "Walau apa pun peranan logam bergetar, ia tidak sepatutnya ada kaitan dengan mengklasifikasikan digit tulisan tangan, " kata McMahon pada bulan Januari tahun ini, pasukan penyelidik Universiti Cornell menerbitkan kertas dalam jurnal Nature bertajuk It is "Deep rangkaian saraf fizikal yang dilatih dengan perambatan balik".

Kertas ini menerangkan keupayaan membaca mentah peranti, memberi harapan kepada McMahon dan lain-lain bahawa dengan banyak penambahbaikan peranti boleh Membawa perubahan revolusioner kepada pengkomputeran.

Pautan kertas: https://www.nature.com/articles/s41586-021-04223-6Mengenai pembelajaran mesin tradisional, saintis komputer mendapati bahawa lebih besar rangkaian saraf, lebih baik. Untuk sebab tertentu, sila lihat artikel dalam gambar di bawah Artikel yang dipanggil "Saintis Komputer Membuktikan Mengapa Rangkaian Neural Lebih Besar Berfungsi Lebih Baik" membuktikan: Jika anda mahu rangkaian itu boleh dipercayai Dengan mengingati data latihannya, maka overparameterization bukan sahaja sah. , tetapi juga dikuatkuasakan.

Alamat artikel: https://www.quantamagazine.org/computer-scientists-prove-why-bigger-neural-networks -do-better-20220210/ Mengisi rangkaian saraf dengan lebih banyak neuron buatan (nod yang menyimpan nilai) boleh meningkatkan keupayaannya untuk membezakan antara Dachshunds dan Dalmatians, serta boleh digunakan untuk berjaya menyelesaikan banyak tugas pengecaman corak lain.

Rangkaian saraf yang sangat besar boleh melengkapkan kertas penulisan (seperti GPT-3 OpenAI), ilustrasi lukisan (seperti DALL·E OpenAI, DALL·E2 dan Imej Google), dan Lebih sukar tugas yang membuat orang berfikir secara mendalam dan takut kepada mereka. Dengan lebih kuasa pengkomputeran, pencapaian yang lebih besar menjadi mungkin. Kemungkinan ini menggalakkan usaha untuk membangunkan kaedah pengkomputeran yang lebih berkuasa dan cekap. McMahon dan sekumpulan ahli fizik yang berfikiran sama menerima pendekatan yang tidak konvensional: Biarkan alam semesta memecahkan data untuk kita.

"Banyak sistem fizikal secara semula jadi mampu melakukan pengiraan tertentu dengan lebih cekap atau lebih pantas daripada komputer," kata McMahon dia memberi contoh terowong angin: Apabila jurutera mereka bentuk kapal terbang, mereka mungkin meletakkan cetak biru ke dalam pendigitalan. , kemudian menghabiskan berjam-jam pada superkomputer mensimulasikan aliran udara di sekeliling sayap. Sebagai alternatif, mereka boleh meletakkan pesawat di dalam terowong angin untuk melihat sama ada ia boleh terbang. Dari perspektif pengiraan, terowong angin boleh "mengira" dengan serta-merta interaksi sayap pesawat dengan udara.

Kapsyen: Ahli pasukan Universiti Cornell Peter McMahon dan Tatsuhiro Onodera sedang menulis program untuk pelbagai sistem fizikal untuk menyelesaikan tugasan pembelajaran.

Sumber imej: Dave BurbankTerowong angin boleh mensimulasikan aerodinamik dan merupakan mesin dengan satu fungsi.

Penyelidik seperti McMahon sedang mengusahakan peranti yang boleh belajar melakukan apa sahaja—sistem yang boleh melaraskan tingkah lakunya melalui percubaan dan kesilapan untuk memperoleh sebarang keupayaan baharu, seperti Kebolehan seperti menyusun digit tulisan tangan atau membezakan satu vokal dengan vokal yang lain.

Penyelidikan terkini menunjukkan bahawa sistem fizikal seperti gelombang cahaya, rangkaian superkonduktor dan aliran percabangan elektron semuanya boleh dipelajari. "Kami bukan hanya mencipta semula perkakasan, kami mencipta semula keseluruhan paradigma pengkomputeran," kata Benjamin Scellier, seorang ahli matematik di ETH Zurich di Switzerland yang membantu mereka bentuk algoritma pembelajaran fizik baharu.

1 Belajar berfikir

Pembelajaran adalah proses yang sangat unik Sepuluh tahun lalu, otak adalah satu-satunya sistem yang mampu belajar. Ia adalah struktur otak yang sebahagiannya memberi inspirasi kepada saintis komputer untuk mereka bentuk rangkaian saraf dalam, yang kini merupakan model pembelajaran buatan paling popular. Rangkaian saraf dalam ialah program komputer yang belajar melalui latihan.

Rangkaian saraf dalam boleh dianggap sebagai grid: lapisan nod yang digunakan untuk menyimpan nilai dipanggil neuron, dan neuron disambungkan kepada neuron dalam lapisan bersebelahan dengan garisan. Garis benih juga dipanggil "sinaps". Pada mulanya, sinaps ini hanyalah nombor rawak yang dipanggil "berat." Jika anda mahu rangkaian membaca 4, anda boleh mempunyai lapisan pertama neuron mewakili imej asal 4 dan anda boleh menyimpan bayang setiap piksel sebagai nilai dalam neuron yang sepadan.

Rangkaian kemudian "berfikir", menggerakkan lapisan demi lapisan, mengisi lapisan neuron seterusnya dengan nilai neuron didarab dengan pemberat sinaptik. Neuron dengan nilai terbesar dalam lapisan terakhir adalah jawapan rangkaian saraf. Sebagai contoh, jika ini adalah neuron kedua, rangkaian meneka bahawa ia melihat 2. Untuk mengajar rangkaian membuat tekaan yang lebih bijak, algoritma pembelajaran berfungsi secara terbalik. Selepas setiap percubaan, ia mengira perbezaan antara tekaan dan jawapan yang betul (dalam kes kami, perbezaan ini akan diwakili oleh nilai tinggi dalam neuron keempat lapisan terakhir dan nilai rendah di tempat lain).

Algoritma kemudian berfungsi kembali melalui rangkaian, lapisan demi lapisan, mengira cara melaraskan pemberat supaya nilai neuron akhir naik atau turun mengikut keperluan. Proses ini dipanggil backpropagation dan merupakan teras pembelajaran mendalam. Dengan meneka dan melaraskan berulang kali, perambatan belakang membimbing pemberat kepada set nombor yang akan dikeluarkan melalui lata pendaraban yang dimulakan oleh satu imej.

Sumber foto: Quanta Magazine Merrill ShermanTetapi berbanding dengan pemikiran otak, saraf tiruan Digital pembelajaran di Internet nampaknya sangat tidak cekap. Dengan kurang daripada 2,000 kalori sehari, seorang anak manusia boleh belajar bercakap, membaca, bermain permainan dan banyak lagi dalam beberapa tahun sahaja. Di bawah keadaan tenaga yang terhad sedemikian, rangkaian saraf GPT-3 yang mampu bercakap dengan lancar mungkin mengambil masa seribu tahun untuk belajar bersembang.

Dari perspektif ahli fizik, rangkaian saraf digital yang besar hanya cuba melakukan terlalu banyak matematik. Rangkaian saraf terbesar hari ini mesti merekod dan memanipulasi lebih daripada 500 bilion nombor. Nombor yang mengejutkan ini datang daripada kertas "Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance)" yang digambarkan di bawah:

Pautan kertas: https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to .htmlSementara itu, alam semesta terus membentangkan tugasan yang jauh melebihi had kuasa pengkomputeran komputer yang tidak seberapa. Mungkin terdapat trilion molekul udara yang melantun di dalam bilik.

Untuk simulasi perlanggaran sepenuhnya, ini ialah bilangan objek bergerak yang tidak dapat dijejaki oleh komputer, tetapi udara itu sendiri boleh dengan mudah menentukan kelakuannya sendiri pada setiap saat. Cabaran kami semasa ialah membina sistem fizikal yang secara semula jadi boleh melengkapkan dua proses yang diperlukan untuk kecerdasan buatan: "pemikiran" mengklasifikasikan imej, dan klasifikasi yang betul bagi imej tersebut "pembelajaran" yang diperlukan.

Sistem yang menguasai kedua-dua tugas ini benar-benar memanfaatkan kuasa matematik alam semesta, bukannya hanya melakukan pengiraan matematik. "Kami tidak pernah mengira apa-apa seperti 3.532 kali 1.567," kata Scellier. "Sistem mengira, tetapi secara tersirat dengan mengikut undang-undang fizik

2 Bahagian Pemikiran

McMahon dan rakan-rakan ulama Kami telah membuat kemajuan pada bahagian "berfikir" teka-teki. Beberapa bulan sebelum wabak COVID-19, McMahon telah menubuhkan makmalnya di Universiti Cornell dan memikirkan penemuan aneh. Selama bertahun-tahun, rangkaian saraf berprestasi terbaik untuk pengecaman imej telah menjadi semakin mendalam. Iaitu, rangkaian dengan lebih banyak lapisan adalah lebih baik untuk mengambil sekumpulan piksel dan memberinya label, seperti "poodle."

Arah aliran ini memberi inspirasi kepada ahli matematik untuk mengkaji transformasi pelaksanaan rangkaian saraf (dari piksel kepada "poodle" Pada tahun 2017, beberapa kumpulan melaporkan dalam karya "Rangkaian Neural Sisa Dalam Sewenang-wenangnya" "). Seni Bina Boleh Balik untuk Rangkaian Neural Sisa Dalam Sewenang-wenangnya" mencadangkan bahawa kelakuan rangkaian saraf ialah versi anggaran fungsi matematik yang lancar.

Alamat kertas: https://arxiv.org/abs/1709.03698Dalam Matematik , fungsi menukar input (biasanya nilai x) kepada output (nilai y atau ketinggian lengkung di lokasi ini). Dalam jenis rangkaian saraf tertentu, lebih banyak lapisan berfungsi dengan lebih baik kerana fungsinya kurang bergerigi dan lebih dekat dengan beberapa lengkung yang ideal. Penyelidikan itu mendapat pemikiran McMahon.

Mungkin dengan mempunyai sistem fizikal yang berubah dengan lancar seseorang boleh memintas penyekatan yang wujud dalam kaedah digital. Caranya ialah mencari cara untuk menjinakkan sistem yang kompleks—untuk menyesuaikan tingkah lakunya melalui latihan. McMahon dan rakan usaha samanya memilih plat titanium untuk sistem sedemikian kerana banyak mod getaran mereka mencampurkan bunyi masuk dengan cara yang rumit.

Untuk menjadikan papak berfungsi seperti rangkaian saraf, mereka memasukkan bunyi yang mengekodkan imej input (seperti tulisan tangan 6) dan bunyi lain yang mewakili pemberat sinaptik. Puncak dan palung bunyi perlu memukul plat titanium pada masa yang sesuai untuk peranti menggabungkan bunyi dan memberikan jawapan - contohnya, bunyi baharu yang paling kuat dalam tempoh enam milisaat mewakili klasifikasi "6."

Kapsyen: Pasukan penyelidik di Universiti Cornell melatih tiga sistem fizikal yang berbeza untuk "membaca" nombor tulisan tangan: dari kiri ke kanan, plat titanium yang bergetar, kristal dan litar elektronik. Sumber: Gambar kiri dan gambar tengah diambil oleh Rob Kurcoba dari Universiti Cornell; gambar kanan diambil oleh Charlie Wood dari Majalah Quanta. Pasukan ini juga melaksanakan skema mereka dalam sistem optik - di mana imej input dan pemberat dikodkan dalam dua rasuk yang dicampur bersama oleh kristal - dan sistem yang boleh mengubah input dalam litar elektronik secara serupa.

Pada dasarnya, mana-mana sistem dengan gelagat Byzantine boleh berbuat demikian, tetapi para penyelidik percaya sistem optik memegang janji istimewa. Bukan sahaja kristal mencampurkan cahaya dengan sangat cepat, tetapi cahaya juga mengandungi data yang kaya tentang dunia. McMahon membayangkan bahawa versi kecil rangkaian saraf optiknya suatu hari nanti akan berfungsi sebagai mata kereta pandu sendiri, dapat mengenali tanda berhenti dan pejalan kaki dan kemudian memasukkan maklumat ke dalam cip komputer kereta, sama seperti retina kita melakukan beberapa penglihatan asas untuk cahaya yang masuk diperlakukan sama.

Walau bagaimanapun, asas Achilles sistem ini ialah melatih mereka memerlukan kembali ke dunia digital. Rambatan belakang melibatkan menjalankan rangkaian saraf secara terbalik, tetapi filem dan kristal tidak dapat menyelesaikan bunyi dan cahaya dengan mudah. Jadi pasukan membina model digital setiap sistem fizikal. Menyongsangkan model ini pada komputer riba, mereka boleh menggunakan algoritma perambatan belakang untuk mengira cara melaraskan pemberat untuk memberikan jawapan yang tepat.

Melalui latihan ini, plat titanium belajar mengelaskan digit tulisan tangan dengan kadar ketepatan 87%. Ketepatan litar dan laser dalam gambar di atas masing-masing mencapai 93% dan 97%. Penemuan menunjukkan bahawa "bukan hanya rangkaian saraf standard boleh dilatih dengan perambatan belakang," kata ahli fizik Julie Grollier dari Pusat Penyelidikan Saintifik (CNRS) Perancis "Ia cantik."

The. plat titanium bergetar pasukan penyelidik masih belum membawa kecekapan pengkomputeran hampir dengan kecekapan otak yang menakjubkan, dan peranti itu tidak sepantas rangkaian saraf digital. Tetapi McMahon berpendapat perantinya hebat kerana ia membuktikan bahawa orang boleh berfikir dengan lebih daripada sekadar otak atau cip komputer mereka. “Sebarang sistem fizikal boleh menjadi rangkaian saraf.” katanya.

3 Bahagian pembelajaran

Satu lagi masalah sukar ialah - cara membuat sistem belajar sepenuhnya secara autonomi. Florian Marquardt, seorang ahli fizik di Institut Max Planck untuk Sains Cahaya di Jerman, berpendapat satu cara ialah membina mesin yang berjalan ke belakang. Tahun lepas, dia dan seorang kolaborator mencadangkan algoritma perambatan balik yang boleh dijalankan pada sistem sedemikian dalam kertas "Mesin Pembelajaran Kendiri berdasarkan Hamiltonian Echo Backpropagation" simulasi Fizik.

Alamat kertas: https://arxiv.org/abs/2103.04992Untuk buktikan ini Untuk berbuat demikian, mereka menggunakan teknik digital untuk mensimulasikan peranti laser yang serupa dengan peranti McMahon, mengekodkan pemberat boleh tala dalam satu gelombang cahaya yang bercampur dengan gelombang input lain (pengekodan, seperti imej). Mereka membawa output lebih dekat kepada jawapan yang betul dan menggunakan komponen optik untuk memecahkan gelombang, membalikkan proses.

"Keajaibannya," kata Marquardt, "apabila anda mencuba peranti sekali lagi dengan input yang sama, output cenderung lebih dekat ke tempat yang anda mahukan. Seterusnya, mereka Bekerjasama dengan pakar eksperimen untuk membina sistem sedemikian. Tetapi memberi tumpuan kepada sistem yang berjalan dalam pilihan had terbalik, jadi penyelidik lain telah meninggalkan penyebaran belakang sepenuhnya.

Oleh kerana mereka tahu bahawa cara otak belajar bukanlah penyebaran balik yang standard, penyelidikan mereka tidak terkena, tetapi pergi lebih jauh. "Otak tidak merambat belakang," kata Scellier Apabila neuron A berkomunikasi dengan neuron B, "perambatan adalah sehala."

Kapsyen: Ahli fizik CNRS Julie Grollier telah melaksanakan algoritma pembelajaran fizik yang dilihat sebagai alternatif yang menjanjikan kepada perambatan balik.

Sumber imej: Christophe CaudroyPada 2017, Scellier dan Yoshua Bengio, seorang saintis komputer di Universiti Montreal, telah membangunkan kaedah yang dipanggil Pendekatan pembelajaran sehala kepada pembiakan seimbang.

Kita boleh memahami cara ia berfungsi seperti ini: bayangkan rangkaian anak panah seperti neuron, arahnya mewakili 0 atau 1, disambungkan dalam grid oleh spring yang bertindak sebagai pemberat sinaptik . Semakin longgar spring, semakin sukar untuk anak panah penghubung berbaris. Mula-mula, putar baris anak panah paling kiri untuk mencerminkan piksel digit tulisan tangan, kemudian putar anak panah yang lain sambil membiarkan baris anak panah paling kiri tidak berubah dan biarkan gangguan ini merebak melalui mata air.

Apabila pusingan berhenti, anak panah paling kanan memberikan jawapan. Intinya, kita tidak perlu menyelak anak panah untuk melatih sistem ini. Sebaliknya, kita boleh menyambungkan satu lagi set anak panah di bahagian bawah rangkaian yang menunjukkan jawapan yang betul Anak panah yang betul ini akan menyebabkan set anak panah atas terbalik dan keseluruhan grid akan memasuki keadaan keseimbangan baharu.

Akhir sekali, bandingkan arah baharu anak panah dengan arah lama dan ketatkan atau longgarkan setiap spring dengan sewajarnya. Selepas banyak eksperimen, mata air memperoleh ketegangan yang lebih bijak, yang ditunjukkan oleh Scellier dan Bengio adalah bersamaan dengan perambatan belakang. "Orang ramai menganggap tidak ada hubungan antara rangkaian saraf fizikal dan perambatan belakang," kata Grollier "Itu berubah baru-baru ini, yang sangat menarik mengenai kerja awal penyebaran seimbang." Tetapi dalam artikel yang akan datang, Grollier dan ahli fizik CNRS Jérémie Laydevant menerangkan pelaksanaan algoritma pada mesin penyepuhlindapan kuantum yang dibina oleh D-Wave. Peranti ini mempunyai rangkaian beribu-ribu superkonduktor berinteraksi yang berfungsi seperti anak panah yang disambungkan oleh spring, secara semula jadi mengira bagaimana "spring" harus dikemas kini. Walau bagaimanapun, sistem tidak boleh mengemas kini berat sinaptik ini secara automatik.

4 Menutup Gelung

Sekurang-kurangnya satu pasukan telah mengumpulkan beberapa bahagian untuk membina litar elektronik yang menggunakan fizik untuk melakukan semua pengangkatan berat , tugas yang boleh dicapai termasuk berfikir, belajar dan mengemas kini wajaran. "Kami telah dapat menutup gelung untuk sistem kecil, " kata Sam Dillavou, seorang ahli fizik di Universiti Pennsylvania, Sam Dillavou bermain-main dengan litar yang boleh mengubah suai dirinya semasa ia belajar.

Matlamat Dillavou dan rakan-rakannya adalah untuk meniru otak, iaitu kecerdasan sebenar dan merupakan sistem yang agak bersatu yang tidak memerlukan sebarang struktur tunggal untuk memberi pesanan. "Setiap neuron melakukan perkaranya sendiri, " katanya. Untuk melakukan ini, mereka membina litar pembelajaran kendiri di mana pemberat sinaptik adalah perintang boleh ubah dan neuron adalah voltan yang diukur antara perintang.

Untuk mengklasifikasikan input yang diberikan, litar ini menukar data kepada voltan yang digunakan pada beberapa nod. Arus elektrik mengalir melalui litar, mencari laluan yang menghilangkan tenaga paling sedikit, menukar voltan apabila ia stabil. Jawapannya adalah untuk menentukan voltan pada nod keluaran. Inovasi idea ini terletak pada langkah pembelajaran yang mencabar, yang mana mereka mereka bentuk skema yang serupa dengan penyebaran seimbang, yang dipanggil pembelajaran berganding.

Apabila satu litar menerima data dan "meneka" hasil, litar lain yang serupa bermula dengan jawapan yang betul dan memasukkannya ke dalam kelakuannya. Akhirnya, elektronik yang menyambungkan setiap pasangan perintang secara automatik membandingkan nilai mereka dan menyesuaikannya untuk konfigurasi "lebih pintar". Kumpulan itu menerangkan litar asas mereka dalam pracetak musim panas lalu (ditunjukkan di bawah) bertajuk "Demonstrasi Bukti Terdesentralisasi, Pembelajaran Didorong Fizik" , Pembelajaran Didorong Fizik)" menunjukkan bahawa ini litar boleh belajar membezakan tiga jenis bunga dengan ketepatan 95%. Dan kini mereka sedang mengusahakan peranti yang lebih pantas dan berkuasa.

Alamat kertas: https://arxiv.org/abs/2108.00275Malah naik taraf ini tidak dapat mengalahkan Advanced yang paling berkuasa cip silikon. Tetapi ahli fizik yang membina sistem ini mengesyaki bahawa, sekuat mana ia muncul hari ini, rangkaian saraf digital akhirnya akan kelihatan perlahan dan tidak mencukupi berbanding dengan rangkaian analog.

Rangkaian saraf digital hanya boleh ditingkatkan ke tahap tertentu sebelum ia terperangkap dalam pengiraan berlebihan, tetapi rangkaian fizikal yang lebih besar hanya perlu menjadi diri mereka sendiri. "Ini adalah bidang yang sangat besar, berkembang pesat, sentiasa berubah, dan saya yakin bahawa beberapa komputer yang sangat berkuasa akan dibina menggunakan prinsip ini," kata Dillavou.

Atas ialah kandungan terperinci Manfaatkan kuasa alam semesta untuk memecahkan data! 'Rangkaian fizikal' jauh mengatasi rangkaian saraf dalam. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!