Pembelajaran Mendalam Fizikal dengan Kaedah Latihan Diilhamkan Secara Biologi: Pendekatan Tanpa Gradien untuk Perkakasan Fizikal

Permintaan yang semakin meningkat untuk kecerdasan buatan telah mendorong penyelidikan ke dalam pengkomputeran tidak konvensional berdasarkan peranti fizikal. Walaupun peranti pengkomputeran tersebut meniru pemprosesan maklumat analog yang diilhamkan oleh otak, proses pembelajaran masih bergantung pada kaedah yang dioptimumkan untuk pemprosesan berangka, seperti perambatan belakang, yang tidak sesuai untuk pelaksanaan fizikal.

Di sini, pasukan penyelidik dari Makmal Teknologi Peranti NTT Jepun dan Universiti Tokyo dengan melanjutkan kaedah yang dipanggil penjajaran maklum balas langsung (DFA) algoritma latihan yang diilhamkan secara biologi untuk menunjukkan kedalaman fizikal pembelajaran. Tidak seperti algoritma asal, kaedah yang dicadangkan adalah berdasarkan unjuran rawak dengan pengaktifan bukan linear alternatif. Oleh itu, rangkaian saraf fizikal boleh dilatih tanpa pengetahuan tentang sistem fizikal dan kecerunannya. Tambahan pula, pengiraan latihan ini boleh disimulasikan pada perkakasan fizikal boleh skala.

Penyelidik menunjukkan bukti konsep menggunakan rangkaian neural berulang optoelektronik yang dipanggil komputer takungan dalam. Potensi untuk pengkomputeran dipercepatkan dengan prestasi kompetitif pada penanda aras ditunjukkan. Hasilnya menyediakan penyelesaian praktikal untuk latihan dan pecutan pengkomputeran neuromorfik.

Penyelidikan ini bertajuk "Pembelajaran mendalam fizikal dengan kaedah latihan yang diilhamkan secara biologi: pendekatan tanpa kecerunan untuk perkakasan fizikal" dan dikeluarkan pada 26 Disember 2022 Pada " Komunikasi Alam Semulajadi".

Pembelajaran Mendalam Fizikal

Prestasi pemecahan rekod pembelajaran mesin berasaskan rangkaian saraf tiruan (ANN) dalam pemprosesan imej, pengecaman pertuturan, permainan, dsb. telah berjaya menunjukkan kecemerlangannya. Walaupun algoritma ini menyerupai cara otak manusia berfungsi, ia pada dasarnya dilaksanakan pada peringkat perisian menggunakan perkakasan pengkomputeran von Neumann tradisional. Walau bagaimanapun, rangkaian neural tiruan berasaskan pengkomputeran digital tersebut menghadapi masalah dalam penggunaan tenaga dan kelajuan pemprosesan. Isu-isu ini mendorong penggunaan platform fizikal alternatif untuk pelaksanaan rangkaian saraf tiruan.

Menariknya, walaupun dinamik fizikal pasif boleh digunakan sebagai sumber pengiraan dalam ANN yang disambungkan secara rawak. Dikenali sebagai Physical Reservoir Computer (RC) atau Extreme Learning Machine (ELM), kemudahan pelaksanaan rangka kerja ini meluaskan pilihan bahan yang boleh dicapai dan julat aplikasinya. Rangkaian saraf (PNN) yang dilaksanakan secara fizikal sedemikian mampu menyumber luar beban pengiraan khusus tugas kepada sistem fizikal.

Membina rangkaian fizikal yang lebih mendalam ialah hala tuju yang menjanjikan untuk meningkatkan lagi prestasi, kerana mereka boleh mengembangkan keupayaan ekspresi rangkaian secara eksponen. Ini mendorong cadangan untuk PNN mendalam menggunakan pelbagai platform fizikal. Latihan mereka pada asasnya bergantung pada kaedah yang dipanggil backpropagation (BP), yang telah mencapai kejayaan besar dalam ANN berasaskan perisian. Walau bagaimanapun, BP tidak sesuai untuk PNN dalam aspek berikut. Pertama, pelaksanaan fizikal operasi BP kekal kompleks dan tidak berskala. Kedua, BP memerlukan pemahaman yang tepat tentang keseluruhan sistem fizikal. Tambahan pula, apabila kita menggunakan BP pada RC, keperluan ini menjejaskan sifat unik RC fizikal, iaitu kita perlu memahami dan mensimulasikan rangkaian stokastik fizikal kotak hitam dengan tepat.

Seperti BP dalam PNN, kesukaran mengendalikan BP dalam rangkaian saraf biologi juga telah ditunjukkan oleh komuniti sains otak, rasionaliti BP dalam otak telah dipersoalkan. Pertimbangan ini telah membawa kepada pembangunan algoritma latihan yang baik secara biologi.

Hala tuju yang menjanjikan dalam masa terdekat ialah Penjajaran Maklum Balas Langsung (DFA). Dalam algoritma ini, transformasi linear rawak tetap bagi isyarat ralat lapisan keluaran akhir digunakan untuk menggantikan isyarat ralat terbalik. Oleh itu, kaedah ini tidak memerlukan perambatan lapisan demi lapisan bagi isyarat ralat atau pengetahuan tentang pemberat. Tambahan pula, DFA dilaporkan boleh berskala kepada model rangkaian besar moden. Kejayaan latihan bermotivasi biologi ini menunjukkan bahawa terdapat cara yang lebih sesuai untuk melatih PNN daripada BP. Walau bagaimanapun, DFA masih memerlukan derivatif f'(a) bagi fungsi tak linear f(x) untuk latihan, yang menghalang penggunaan kaedah DFA dalam sistem fizikal. Oleh itu, penskalaan DFA yang lebih besar adalah penting untuk aplikasi PNN.

DFA dan peningkatannya untuk pembelajaran mendalam fizik

Di sini, penyelidik menunjukkan pembelajaran mendalam fizik dengan mempertingkatkan algoritma DFA. Dalam DFA yang dipertingkatkan, kami menggantikan terbitan pengaktifan tak linear fizikal f'(a) dalam DFA standard dengan g(a) tak linear arbitrari dan menunjukkan bahawa prestasi adalah teguh kepada pilihan g(a). Disebabkan oleh peningkatan ini, ia tidak lagi perlu untuk memodelkan f'(a) dengan tepat. Memandangkan kaedah yang dicadangkan adalah berdasarkan unjuran stokastik selari dengan pengaktifan tak linear sewenang-wenangnya, pengiraan latihan boleh dilakukan pada sistem fizikal dengan cara yang sama seperti konsep ELM atau RC fizikal. Ini membolehkan pecutan fizikal inferens dan latihan.

Rajah: Konsep PNN dan latihannya melalui BP dan DFA tambahan. (Sumber: kertas)

Untuk menunjukkan bukti konsep, penyelidik membina RC fizik kedalaman optoelektronik berbantukan FPGA sebagai meja kerja. Walaupun benchtop mudah digunakan dan boleh digunakan pada pelbagai platform fizikal dengan hanya kemas kini peringkat perisian, ia mencapai prestasi yang setanding dengan sistem canggih yang besar dan kompleks.

Rajah: Sistem RC kedalaman optoelektronik dengan latihan DFA yang dipertingkatkan. (Sumber: kertas)

Di samping itu, keseluruhan masa pemprosesan, termasuk masa pemprosesan digital, telah dibandingkan, dan kemungkinan pecutan fizikal proses latihan ditemui .

Rajah: Prestasi sistem RC dalam optoelektronik. (Sumber: Kertas)

Pecahan belanjawan masa pemprosesan bangku RC adalah seperti berikut: Pemprosesan FPGA (pemindahan data, peruntukan memori dan DAC/ADC) ~92%; 8% daripada pemprosesan digital digunakan untuk pra-/pasca pemprosesan. Oleh itu, pada peringkat semasa, masa pemprosesan didominasi oleh pengiraan berangka pada FPGA dan CPU. Ini kerana bangku optoelektronik melaksanakan satu takungan menggunakan hanya satu talian tunda tak linear ini boleh dilonggarkan dengan menggunakan perkakasan pengkomputeran selari sepenuhnya dan semua optik pada masa hadapan. Seperti yang dapat dilihat, pengiraan pada CPU dan GPU menunjukkan arah aliran O(N^2) untuk bilangan nod, manakala atas bangku menunjukkan O(N), yang disebabkan oleh kesesakan pemindahan data.

Pecutan fizikal di luar CPU diperhatikan pada N ~5,000 dan ~12,000 untuk algoritma BP dan DFA yang dipertingkatkan, masing-masing. Walau bagaimanapun, dari segi kelajuan pengiraan, keberkesanan terhadap GPU tidak diperhatikan secara langsung kerana had ingatannya. Dengan mengekstrapolasi arah aliran GPU, kelajuan fizik ke atas GPU boleh diperhatikan pada N ~80,000. Untuk pengetahuan kami, ini adalah perbandingan pertama keseluruhan proses latihan dan demonstrasi pertama pecutan latihan fizikal menggunakan PNN.

Untuk mengkaji kebolehgunaan kaedah yang dicadangkan kepada sistem lain, simulasi berangka telah dilakukan menggunakan rangkaian neural fotonik yang dikaji secara meluas. Tambahan pula, RC berasaskan kelewatan yang ditunjukkan secara eksperimen ditunjukkan sangat sesuai untuk pelbagai sistem fizikal. Berkenaan skalabiliti sistem fizikal, isu utama dalam membina rangkaian dalam adalah bunyi yang wujud. Kesan bunyi dikaji melalui simulasi berangka. Sistem itu didapati teguh kepada bunyi bising.

Skalabiliti dan had pendekatan yang dicadangkan

Di sini, kebolehskalaan pendekatan berasaskan DFA kepada model yang lebih moden dipertimbangkan. Salah satu model yang paling biasa digunakan untuk pembelajaran mendalam praktikal ialah rangkaian neural convolutional tersambung dalam (CNN). Walau bagaimanapun, telah dilaporkan bahawa algoritma DFA sukar digunakan untuk CNN standard. Oleh itu, kaedah yang dicadangkan mungkin sukar untuk digunakan pada PNN konvolusi dengan cara yang mudah.

Kesesuaian pada SNN juga merupakan topik penting memandangkan pelaksanaan perkakasan simulasi. Kebolehgunaan latihan berasaskan DFA kepada SNN telah dilaporkan, yang bermaksud bahawa DFA yang dipertingkatkan yang dicadangkan dalam kajian ini dapat menjadikan latihan lebih mudah.

Walaupun algoritma berasaskan DFA berpotensi untuk diperluaskan kepada model yang lebih praktikal daripada MLP atau RC mudah, keberkesanan menggunakan latihan berasaskan DFA pada rangkaian tersebut masih tidak diketahui. Di sini, sebagai kerja tambahan kepada kajian ini, kebolehskalaan latihan berasaskan DFA (DFA sendiri dan DFA dipertingkat) kepada model yang disebutkan di atas (MLP-Mixer, Vision transformer (ViT), ResNet dan SNN) disiasat. Latihan berasaskan DFA didapati berkesan walaupun untuk model praktikal penerokaan. Walaupun ketepatan latihan berasaskan DFA yang boleh dicapai pada dasarnya adalah lebih rendah daripada latihan BP, beberapa pelarasan pada model dan/atau algoritma boleh meningkatkan prestasi. Terutamanya, ketepatan DFA dan DFA tambahan adalah setanding untuk semua tetapan percubaan yang diterokai, menunjukkan bahawa penambahbaikan lanjut dalam DFA itu sendiri akan secara langsung menyumbang kepada peningkatan DFA ditambah. Keputusan menunjukkan bahawa kaedah itu boleh diperluaskan kepada pelaksanaan model praktikal PNN pada masa hadapan, bukan hanya model MLP atau RC mudah.

Jadual 1: Kebolehgunaan DFA yang dipertingkatkan kepada model rangkaian sebenar. (Sumber: kertas)

BP dan DFA dalam perkakasan fizikal

Secara umumnya, BP sangat sukar untuk dilaksanakan pada perkakasan fizikal kerana ia memerlukan semua maklumat dalam graf pengiraan. Oleh itu, latihan mengenai perkakasan fizikal sentiasa dilakukan melalui simulasi pengiraan, yang menanggung kos pengiraan yang besar. Tambahan pula, perbezaan antara model dan sistem sebenar membawa kepada pengurangan ketepatan. Sebaliknya, DFA yang dipertingkatkan tidak memerlukan pengetahuan terdahulu yang tepat tentang sistem fizikal. Oleh itu, dalam PNN mendalam, kaedah berasaskan DFA adalah lebih berkesan daripada kaedah berasaskan BP dari segi ketepatan. Selain itu, perkakasan fizikal boleh digunakan untuk mempercepatkan pengiraan.

Selain itu, latihan DFA tidak memerlukan penyebaran ralat berurutan yang dikira lapisan demi lapisan, yang bermaksud bahawa latihan setiap lapisan boleh dilakukan secara selari. Oleh itu, pelaksanaan DFA yang lebih optimum dan selari boleh membawa kepada percepatan yang lebih ketara. Ciri unik ini menunjukkan keberkesanan kaedah berasaskan DFA, terutamanya untuk rangkaian saraf berdasarkan perkakasan fizikal. Sebaliknya, ketepatan model terlatih DFA yang dipertingkatkan masih lebih rendah daripada model terlatih BP. Meningkatkan lagi ketepatan latihan berasaskan DFA kekal pada masa hadapan.

Kelajuan fizik selanjutnya

Pelaksanaan fizik menunjukkan kelajuan pemprosesan gelung RC dengan nombor nod besar. Walau bagaimanapun, kelebihannya masih terhad dan penambahbaikan lanjut diperlukan. Masa pemprosesan prototaip semasa dinyatakan sebagai pemindahan data dan peruntukan memori kepada FPGA. Oleh itu, menyepadukan semua proses ke dalam FPGA akan meningkatkan prestasi dengan mengorbankan fleksibiliti percubaan. Tambahan pula, pada masa hadapan, kaedah optik bawaan udara akan mengurangkan kos penghantaran dengan ketara. Penyepaduan optik berskala besar dan penyepaduan pada cip akan meningkatkan lagi prestasi pengkomputeran optik itu sendiri.

Atas ialah kandungan terperinci Pembelajaran Mendalam Fizikal dengan Kaedah Latihan Diilhamkan Secara Biologi: Pendekatan Tanpa Gradien untuk Perkakasan Fizikal. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!