Bagaimana untuk meningkatkan kecekapan penyimpanan dan penghantaran? Rangkaian topeng intensif parameter mempunyai kesan yang ketara

Untuk mengendalikan tugas yang lebih kompleks, skala rangkaian saraf telah meningkat sejak beberapa tahun kebelakangan ini, dan cara menyimpan dan menghantar rangkaian saraf dengan cekap telah menjadi sangat penting. Sebaliknya, dengan cadangan Hipotesis Tiket Loteri (LTH), rangkaian neural jarang rawak baru-baru ini telah menunjukkan potensi yang kuat Cara menggunakan potensi ini untuk meningkatkan kecekapan penyimpanan dan penghantaran rangkaian juga patut diterokai.

Penyelidik dari Northeastern University dan Rochester Institute of Technology mencadangkan Rangkaian Masking Cekap Parameter (PEMN). Penulis terlebih dahulu meneroka keupayaan perwakilan rangkaian rawak yang dihasilkan oleh bilangan nombor rawak yang terhad. Eksperimen menunjukkan bahawa walaupun rangkaian dijana daripada bilangan nombor rawak yang terhad, ia masih mempunyai keupayaan perwakilan yang baik dengan memilih struktur sub-rangkaian yang berbeza.

Melalui eksperimen penerokaan ini, penulis secara semula jadi mencadangkan untuk menggunakan bilangan nombor rawak yang terhad sebagai prototaip, digabungkan dengan satu set topeng untuk mengekspresikan rangkaian saraf. Oleh kerana bilangan nombor rawak dan topeng binari yang terhad menduduki ruang storan yang sangat sedikit, pengarang menggunakan ini untuk mencadangkan idea baharu untuk pemampatan rangkaian. Artikel tersebut telah diterima untuk NeurIPS 2022. Kod tersebut telah menjadi sumber terbuka.

• Alamat kertas: https://arxiv.org/abs/2210.06699
• Kod kertas: https://github.com/yueb17/PEMN

1 > Penyelidik MIT mencadangkan Hipotesis Tiket Loteri (ICLR'19): Dalam rangkaian yang dimulakan secara rawak, terdapat subrangkaian loteri (tiket menang) yang mencapai keputusan yang baik apabila dilatih bersendirian. Hipotesis tiket loteri meneroka kebolehlatihan rangkaian jarang stokastik. Penyelidik Uber mencadangkan Supermask (NeurIPS'19): Dalam rangkaian yang dimulakan secara rawak, terdapat sub-rangkaian yang boleh digunakan secara langsung untuk inferens tanpa latihan. Supermask meneroka kebolehgunaan rangkaian jarang stokastik. Penyelidik di University of Washington mencadangkan Edge-Popup (CVPR'20): mempelajari topeng subrangkaian melalui perambatan belakang, yang meningkatkan kebolehgunaan rangkaian jarang rawak.

2. Motivasi/proses penyelidikan

Penyelidikan berkaitan di atas meneroka potensi rangkaian jarang rawak dari sudut yang berbeza, seperti kebolehlatihan dan kebolehgunaan, yang mana kebolehgunaan juga boleh difahami untuk keupayaan perwakilan. Dalam karya ini, penulis berminat dengan seberapa baik rangkaian saraf yang dihasilkan daripada nombor rawak boleh mewakili tanpa pemberat latihan. Berikutan penerokaan masalah ini, penulis mencadangkan Parameter-Efficient Masking Networks (PEMN). Sememangnya, pengarang menggunakan PEMN untuk memberikan idea baharu untuk pemampatan rangkaian dan menjadi contoh untuk meneroka kemungkinan senario aplikasi PEMN.

3 Meneroka keupayaan perwakilan rangkaian saraf yang terdiri daripada nombor rawak

Memandangkan rangkaian rawak, pengarang memilih algoritma Edge-Popup untuk memilih sub-rangkaian untuk meneroka keupayaan Perwakilannya. Perbezaannya ialah bukannya secara rawak memulakan keseluruhan rangkaian, penulis mencadangkan tiga strategi penjanaan rangkaian intensif parameter untuk menggunakan prototaip untuk membina rangkaian rawak.

• Pelapik lapisan maksimum (MP): Pilih lapisan rangkaian dengan bilangan parameter terbesar sebagai prototaip dan potong amaun parameter yang sepadan untuk mengisi lapisan rangkaian lain.
• Pelapik vektor rawak (RP): Pilih vektor rawak dengan panjang tertentu sebagai prototaip dan salinnya untuk mengisi keseluruhan rangkaian.
Tiga strategi penjanaan rangkaian rawak yang berbeza secara beransur-ansur mengurangkan bilangan nilai unik dalam rangkaian Kami memilih berdasarkan rangkaian rawak yang diperolehi oleh strategi yang berbeza potensi perwakilan rangkaian rawak yang dihasilkan oleh bilangan nombor rawak yang terhad.

Rajah di atas menunjukkan keputusan eksperimen pengelasan imej CIFAR10 menggunakan rangkaian ConvMixer dan ViT. Paksi-Y ialah ketepatan, dan paksi-X ialah rangkaian rawak yang diperoleh menggunakan strategi yang berbeza. Sebagaimana yang

Menurut keputusan percubaan, kami mendapati bahawa walaupun rangkaian rawak hanya mempunyai bilangan nombor rawak tidak berulang yang sangat terhad (seperti PR_1e-3), ia masih boleh mengekalkan perwakilan keupayaan sub-rangkaian yang dipilih. Setakat ini, penulis telah meneroka keupayaan perwakilan rangkaian saraf yang terdiri daripada bilangan nombor rawak yang terhad melalui strategi penjanaan rangkaian rawak yang berbeza dan memerhatikan bahawa walaupun nombor rawak tidak berulang adalah sangat terhad, rangkaian rawak yang sepadan masih boleh mewakili data dengan baik.

Pada masa yang sama, penulis mencadangkan jenis rangkaian neural baharu yang dipanggil Parameter-Efficient Masking Networks (PEMN) berdasarkan strategi penjanaan rangkaian rawak ini dan digabungkan dengan topeng sub-rangkaian yang diperolehi .

4. Idea pemampatan rangkaian baharu

Artikel ini memilih pemampatan rangkaian saraf sebagai contoh untuk mengembangkan potensi aplikasi PEMN. Secara khusus, strategi penjanaan rangkaian rawak berbeza yang dicadangkan dalam artikel ini boleh menggunakan prototaip dengan cekap untuk mewakili rangkaian rawak yang lengkap, terutamanya strategi padding vektor rawak (RP) yang paling halus.

Pengarang menggunakan prototaip vektor rawak dalam strategi RP dan set topeng sub-rangkaian yang sepadan untuk mewakili rangkaian rawak. Prototaip perlu disimpan dalam format titik terapung, manakala topeng hanya perlu disimpan dalam format binari. Oleh kerana panjang prototaip dalam RP boleh menjadi sangat pendek (kerana bilangan terhad nombor rawak tidak berulang masih mempunyai keupayaan perwakilan yang kuat), overhed mewakili rangkaian saraf akan menjadi sangat kecil, iaitu, menyimpan format nombor titik terapung dengan panjang terhad. Vektor rawak dan satu set topeng dalam format binari. Berbanding dengan rangkaian jarang tradisional yang menyimpan nilai titik terapung subrangkaian, kertas kerja ini mencadangkan idea pemampatan rangkaian baharu untuk menyimpan dan menghantar rangkaian saraf dengan cekap.

Dalam rajah di atas, penulis menggunakan PEMN untuk memampatkan rangkaian dan membandingkannya dengan kaedah pemangkasan rangkaian tradisional. Percubaan menggunakan rangkaian ResNet untuk melaksanakan tugas pengelasan imej pada set data CIFAR. Kami mendapati bahawa skim mampatan baharu secara amnya berprestasi lebih baik daripada pemangkasan rangkaian tradisional Terutamanya pada kadar mampatan yang sangat tinggi, PEMN masih boleh mengekalkan ketepatan yang baik.

5. Kesimpulan

Diilhamkan oleh potensi yang ditunjukkan oleh rangkaian rawak terkini, kertas kerja ini mencadangkan strategi intensif parameter yang berbeza untuk membina rangkaian saraf rawak, dan kemudian meneroka kemungkinan hanya menggunakan Potensi perwakilan rangkaian saraf rawak yang dijana tanpa nombor rawak berulang adalah terhad, dan Rangkaian Topeng Cekap Parameter (PEMN) dicadangkan. Pengarang menggunakan PEMN pada senario pemampatan rangkaian untuk meneroka potensinya dalam aplikasi praktikal dan menyediakan idea baharu untuk pemampatan rangkaian. Pengarang menyediakan eksperimen yang meluas yang menunjukkan bahawa walaupun terdapat bilangan yang sangat terhad bagi nombor rawak tidak berulang dalam rangkaian rawak, ia masih mempunyai keupayaan perwakilan yang baik melalui pemilihan subrangkaian. Di samping itu, berbanding dengan algoritma pemangkasan tradisional, eksperimen menunjukkan bahawa kaedah yang baru dicadangkan boleh mencapai kesan mampatan rangkaian yang lebih baik, mengesahkan potensi aplikasi PEMN dalam senario ini.

Atas ialah kandungan terperinci Bagaimana untuk meningkatkan kecekapan penyimpanan dan penghantaran? Rangkaian topeng intensif parameter mempunyai kesan yang ketara. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!