Dalam sub-jurnal Nature, pasukan University of Waterloo mengulas tentang masa kini dan masa depan 'komputer kuantum + model bahasa besar'

Salah satu cabaran utama dalam mensimulasikan peranti pengkomputeran kuantum hari ini ialah keupayaan untuk mempelajari dan mengekodkan korelasi kompleks antara qubit. Teknologi baru muncul berdasarkan model bahasa pembelajaran mesin telah menunjukkan keupayaan unik untuk mempelajari keadaan kuantum.

Baru-baru ini, penyelidik dari University of Waterloo menerbitkan artikel perspektif bertajuk "Model bahasa untuk simulasi kuantum" dalam "Nature Computational Science", menekankan sumbangan penting model bahasa dalam membina komputer kuantum, dan membincangkan potensi peranan mereka pada masa hadapan. persaingan untuk ketuanan kuantum. Artikel ini menyerlahkan nilai unik model bahasa dalam bidang pengkomputeran kuantum, dengan menyatakan bahawa ia boleh digunakan untuk menangani kerumitan dan ketepatan sistem kuantum. Penyelidik percaya bahawa dengan menggunakan model bahasa, prestasi algoritma kuantum dapat difahami dengan lebih baik dan dioptimumkan, dan idea baharu boleh disediakan untuk pembangunan komputer kuantum. Artikel itu juga menekankan potensi peranan model bahasa dalam persaingan untuk kelebihan kuantum, percaya bahawa ia boleh membantu mempercepatkan pembangunan komputer kuantum dan dijangka mencapai keputusan dalam menyelesaikan masalah praktikal

Pautan kertas: https: //www.nature .com/articles/s43588-023-00578-0

Komputer kuantum telah mula matang, dengan banyak peranti baru-baru ini menuntut keunggulan kuantum. Perkembangan berterusan keupayaan pengkomputeran klasik, seperti peningkatan pesat teknik pembelajaran mesin, telah menimbulkan banyak senario menarik yang mengelilingi interaksi antara strategi kuantum dan klasik. Memandangkan pembelajaran mesin terus disepadukan dengan pantas ke dalam timbunan pengkomputeran kuantum, ia menimbulkan persoalan: bolehkah ia mengubah teknologi kuantum dengan cara yang berkuasa pada masa hadapan?

Salah satu cabaran utama yang sedang dihadapi oleh komputer kuantum ialah mempelajari keadaan kuantum. Model generatif yang muncul baru-baru ini menawarkan dua strategi umum untuk menyelesaikan masalah pembelajaran keadaan kuantum.

Ilustrasi: Model generatif untuk bahasa semula jadi dan bidang lain. (Sumber: kertas)

Pertama, kaedah kemungkinan maksimum tradisional boleh digunakan dengan melaksanakan pembelajaran dipacu data menggunakan set data yang mewakili output komputer kuantum. Kedua, kita boleh menggunakan pendekatan fizik kepada keadaan kuantum yang mengeksploitasi pengetahuan tentang interaksi antara qubit untuk menentukan fungsi kehilangan pengganti.

Dalam mana-mana kes, peningkatan bilangan qubit N akan menyebabkan saiz ruang keadaan kuantum (ruang Hilbert) berkembang secara eksponen, yang dipanggil kutukan dimensi. Oleh itu, terdapat cabaran besar dalam bilangan parameter yang diperlukan untuk mewakili keadaan kuantum dalam model lanjutan dan dalam kecekapan pengiraan mencari nilai parameter optimum. Untuk mengatasi masalah ini, model penjanaan rangkaian saraf tiruan adalah penyelesaian yang sangat sesuai.

Model bahasa ialah model generatif yang sangat menjanjikan yang telah menjadi seni bina yang berkuasa untuk menyelesaikan masalah bahasa yang kompleks. Oleh kerana kebolehskalaannya, ia juga sesuai untuk masalah dalam pengkomputeran kuantum. Kini, apabila model bahasa perindustrian bergerak ke dalam trilion julat parameter, adalah wajar untuk tertanya-tanya apakah model berskala besar yang serupa boleh dicapai dalam fizik, sama ada dalam aplikasi seperti pengkomputeran kuantum lanjutan, atau dalam jirim kuantum, bahan dan pemahaman teori asas tentang peralatan.

Ilustrasi: Masalah fizik kuantum dan formula variasinya. (Sumber: Kertas)

Model Autoregresif untuk Pengkomputeran Kuantum

Model bahasa ialah model generatif yang direka untuk membuat kesimpulan taburan kebarangkalian daripada data bahasa semula jadi.

Tugas model generatif adalah untuk mempelajari hubungan kebarangkalian antara perkataan yang muncul dalam korpus, membolehkan penjanaan frasa baharu satu token pada satu masa. Kesukaran utama terletak pada pemodelan semua kebergantungan kompleks antara perkataan.

Cabaran yang sama juga dikenakan pada komputer kuantum, di mana korelasi bukan tempatan seperti jalinan membawa kepada kebergantungan yang sangat tidak remeh antara qubit. Oleh itu, persoalan yang menarik ialah sama ada seni bina autoregresif berkuasa yang dibangunkan dalam industri juga boleh digunakan untuk menyelesaikan masalah dalam sistem kuantum yang berkorelasi kuat.

Ilustrasi: Strategi autoregresif untuk urutan teks dan qubit. (Sumber: Kertas)

Fungsi Gelombang RNN

RNN ialah sebarang rangkaian neural yang mengandungi sambungan berulang, jadi output unit RNN bergantung pada output sebelumnya. Sejak 2018, penggunaan RNN telah berkembang dengan pantas untuk merangkumi pelbagai tugas yang paling mencabar dalam memahami sistem kuantum.

Kelebihan utama RNN yang sesuai untuk tugasan ini ialah keupayaan mereka untuk mempelajari dan mengekodkan korelasi yang sangat ketara antara qubit, termasuk jalinan kuantum yang bersifat bukan tempatan.

Ilustrasi: RNN untuk jujukan qubit. (Sumber: Kertas)

Ahli fizik telah menggunakan RNN untuk pelbagai kegunaan inovatif yang berkaitan dengan pengkomputeran kuantum. RNN telah digunakan untuk tugas membina semula keadaan kuantum daripada pengukuran qubit. RNN juga boleh digunakan untuk mensimulasikan dinamik sistem kuantum, yang dianggap sebagai salah satu aplikasi pengkomputeran kuantum yang paling menjanjikan dan oleh itu tugas utama dalam menentukan kelebihan kuantum. RNN telah digunakan sebagai strategi untuk membina penyahkod pembetulan ralat saraf, elemen utama dalam pembangunan komputer kuantum toleran kesalahan. Selain itu, RNN dapat memanfaatkan pengoptimuman yang dipacu data dan diilhamkan fizik, membolehkan peningkatan jumlah penggunaan inovatif dalam simulasi kuantum.

Komuniti ahli fizik terus membangunkan RNN secara aktif, berharap dapat menggunakannya untuk menyelesaikan tugas pengiraan yang semakin kompleks yang dihadapi dalam era kelebihan kuantum. Daya saing pengiraan RNN dengan rangkaian tensor dalam banyak tugas kuantum, ditambah pula dengan keupayaan semula jadi mereka untuk memanfaatkan nilai data pengukuran qubit, menunjukkan bahawa RNN akan terus memainkan peranan penting dalam mensimulasikan tugas kompleks pada komputer kuantum pada masa hadapan.

Keadaan Kuantum Transformer

Walaupun RNN telah mencapai kejayaan besar dalam tugas bahasa semula jadi selama ini, mereka baru-baru ini telah dikalahkan dalam industri oleh mekanisme perhatian kendiri Transformer, yang merupakan model bahasa besar (LLM) hari ini Komponen utama seni bina pengekod-penyahkod.

Penskalaan Kejayaan Transformers, dan persoalan penting yang ditimbulkan oleh fenomena kemunculan bukan remeh yang mereka tunjukkan dalam tugas bahasa, telah lama menarik minat ahli fizik, yang untuknya mencapai penskalaan adalah fokus utama penyelidikan pengkomputeran kuantum.

Pada asasnya, Transformer ialah model autoregresif yang ringkas. Walau bagaimanapun, tidak seperti RNN, yang secara tersirat menyandikan korelasi melalui vektor tersembunyi, output pengedaran bersyarat oleh model Transformer secara eksplisit bergantung pada semua pembolehubah lain dalam urutan berkenaan sifat autoregresif. Ini dicapai melalui mekanisme perhatian kendiri perisai kausal.

Ilustrasi: Perhatikan teks dan urutan qubit. (Sumber: Kertas)

Seperti data bahasa, dalam sistem kuantum perhatian dikira dengan mengambil ukuran qubit dan mengubahnya melalui satu siri fungsi parameter. Dengan melatih sekumpulan fungsi berparameter ini, Transformer boleh mempelajari kebergantungan antara qubit. Dengan mekanisme perhatian, tidak perlu mengaitkan geometri keadaan tersembunyi yang disampaikan (seperti dalam RNN) dengan susunan fizikal qubit.

Dengan memanfaatkan seni bina ini, Transformer dengan berbilion atau trilion parameter boleh dilatih. . pembetulan yang berkuasa protokol kerosakan untuk menyokong pembangunan perkakasan yang benar-benar tahan terhadap kerosakan pada masa hadapan.

Memandangkan skop penyelidikan yang melibatkan Transformers fizik kuantum terus berkembang pesat, satu siri soalan menarik kekal.

Masa depan model bahasa untuk pengkomputeran kuantum

Walaupun ahli fizik hanya menerokainya untuk masa yang singkat, model bahasa telah mencapai kejayaan yang luar biasa apabila digunakan pada pelbagai cabaran dalam pengkomputeran kuantum. Keputusan ini menunjukkan banyak hala tuju penyelidikan masa depan yang menjanjikan.

Satu lagi kes penggunaan utama untuk model bahasa dalam fizik kuantum datang daripada keupayaan mereka untuk mengoptimumkan, bukan melalui data, tetapi melalui pengetahuan tentang interaksi asas qubit Hamiltonian atau Lindbladian.

Akhir sekali, model bahasa membuka bidang baharu latihan hibrid melalui gabungan pengoptimuman dipacu data dan didorong variasi. Strategi baru muncul ini menawarkan cara baharu untuk mengurangkan ralat dan menunjukkan peningkatan yang hebat dalam simulasi variasi. Memandangkan model generatif baru-baru ini telah disesuaikan menjadi penyahkod pembetulan ralat kuantum, latihan hibrid mungkin merupakan langkah penting ke arah grail suci masa depan komputer kuantum toleran kesalahan. Ini menunjukkan bahawa kitaran murni akan muncul antara komputer kuantum dan model bahasa yang dilatih pada output mereka.

Ilustrasi: Model bahasa mencapai pengembangan pengkomputeran kuantum melalui kitaran yang mulia. (Sumber: Kertas)

Melihat ke hadapan, peluang paling menarik untuk menghubungkan bidang model bahasa kepada pengkomputeran kuantum terletak pada keupayaan mereka untuk menunjukkan skala dan kemunculan.

Kini, dengan demonstrasi sifat kemunculan LLM, bidang baharu telah dipecahkan, menimbulkan banyak persoalan yang menarik. Memandangkan data latihan yang mencukupi, bolehkah LLM mempelajari salinan digital komputer kuantum? Bagaimanakah kemasukan model bahasa dalam timbunan kawalan akan memberi kesan kepada pencirian dan reka bentuk komputer kuantum? Jika skalanya cukup besar, bolehkah LLM menunjukkan kemunculan fenomena kuantum makroskopik seperti superkonduktiviti?

Sementara ahli teori merenung soalan-soalan ini, ahli fizik eksperimen dan pengiraan telah mula menggunakan model bahasa dengan bersungguh-sungguh pada reka bentuk, pencirian dan kawalan komputer kuantum hari ini. Semasa kami melepasi ambang kelebihan kuantum, kami juga memasuki wilayah baharu dalam memperluaskan model bahasa. Walaupun sukar untuk meramalkan bagaimana perlanggaran komputer kuantum dan LLM akan berlaku, apa yang jelas ialah peralihan asas yang disebabkan oleh interaksi teknologi ini telah pun bermula.