KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN.

KAN mengatasi prestasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter.

KAN mempunyai asas matematik yang sama seperti MLP, yang berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold.

Seperti yang ditunjukkan dalam rajah di bawah, KAN mempunyai fungsi pengaktifan pada tepi, manakala MLP mempunyai fungsi pengaktifan pada nod. KAN nampaknya lebih cekap parameter daripada MLP, tetapi setiap lapisan KAN mempunyai lebih banyak parameter daripada lapisan MLP. gambar: [Rajah 1: Gambarajah skematik] Penerangan ringkas: KAN ialah struktur rangkaian saraf berasaskan tepi, dan setiap nod mempunyai berat tepi dan fungsi pengaktifan. Ia merealisasikan penghantaran dan kemas kini maklumat melalui penyebaran tepi. MLP ialah struktur rangkaian saraf berasaskan nod, setiap nod mempunyai input

Baru-baru ini, beberapa penyelidik telah memperluaskan konsep rangka kerja inovatif KAN kepada rangkaian saraf konvolusi, mengubah transformasi linear klasik konvolusi Daripada fungsi pengaktifan tak linear yang boleh dipelajari dalam setiap piksel, lilitan KAN (CKAN) dicadangkan dan sumber terbuka.

Alamat projek: https://github.com/AntonioTepsich/Convolutional-KANs

KAN Convolution

KAN+ convolution, sebaliknya tidak serupa dengan kernel convolution dan imej sebaliknya menggunakan produk titik antara piksel yang sepadan, fungsi pengaktifan tak linear yang boleh dipelajari digunakan pada setiap elemen dan kemudian dijumlahkan. Inti KAN+konvolusi adalah bersamaan dengan lapisan KAN+linear dengan 4 input dan 1 neuron output. Untuk setiap input i, menggunakan fungsi ϕ_i yang boleh dipelajari, piksel yang terhasil daripada langkah konvolusi ini ialah hasil tambah ϕ_i (x_i). .

Ini memberikan lebih kebolehungkapan untuk fungsi pengaktifan b, kiraan parameter lapisan linear ialah saiz grid + 2. Oleh itu, lilitan KAN mempunyai sejumlah parameter K^2(saiz grid + 2), manakala lilitan biasa hanya mempunyai K^2. . ckan (ckan_bn) dengan normalisasi batch antara convolutions

convnet (convolution klasik yang disambungkan ke MLP) (convnet)

simple mlp

Penulis menyatakan bahawa pelaksanaan KAN konvolusi adalah idea yang menjanjikan, walaupun ia masih di peringkat awal. Mereka menjalankan beberapa eksperimen awal untuk menilai prestasi konvolusi KAN.

Perlu diambil perhatian bahawa sebab untuk menerbitkan keputusan "awal" ini adalah kerana mereka berharap dapat memperkenalkan idea ini kepada dunia luar secepat mungkin dan mempromosikan penyelidikan yang lebih luas dalam masyarakat.

• Setiap elemen senarai dalam lapisan konvolusi mengandungi nombor lilitan dan saiz kernel yang sepadan.

Berdasarkan set data 28x28 MNIST, dapat diperhatikan bahawa model KANConv & MLP mencapai ketepatan yang boleh diterima berbanding dengan ConvNet (besar). Walau bagaimanapun, perbezaannya ialah KANConv & MLP memerlukan 7 kali ganda bilangan parameter daripada ConvNet standard. Tambahan pula, ketepatan KKAN adalah 0.04 lebih rendah daripada ConvNet Medium, manakala bilangan parameter (94k vs. 157k) adalah hampir separuh daripada ConvNet Medium, yang menunjukkan potensi seni bina ini. Kami juga perlu menjalankan eksperimen pada lebih banyak set data untuk membuat kesimpulan mengenai perkara ini.

Dalam beberapa hari dan minggu akan datang, pengarang juga akan menala model dan hiperparameter model yang digunakan untuk perbandingan dengan teliti. Walaupun beberapa hiperparameter dan variasi seni bina telah dicuba, ini hanya heuristik dan tidak mengikut sebarang pendekatan yang tepat. Mereka belum lagi bekerja dengan set data yang besar atau lebih kompleks kerana kuasa pengiraan dan kekangan masa, dan sedang berusaha untuk menyelesaikan masalah ini.

Di masa hadapan, penulis akan menjalankan eksperimen ke atas set data yang lebih kompleks, bermakna jumlah parameter KANS akan meningkat kerana lebih banyak lapisan konvolusi KAN perlu dilaksanakan.

Kesimpulan

Pada masa ini, berbanding dengan rangkaian konvolusi tradisional, penulis menyatakan bahawa beliau tidak melihat peningkatan yang ketara dalam prestasi rangkaian konvolusi KAN. Analisis mereka percaya bahawa ini adalah disebabkan oleh penggunaan set data dan model yang mudah Berbanding dengan seni bina terbaik yang dicuba (ConvNet Big, perbandingan ini tidak adil berdasarkan faktor skala), kelebihan seni bina ini ialah ia mempunyai parameter yang lebih baik Keperluan. adalah lebih kurang. . lapisan adalah hampir separuh daripada kaedah klasik, tetapi ketepatan dikurangkan sebanyak 0.04.

Pengarang menyatakan bahawa apabila kerumitan model dan set data meningkat, prestasi rangkaian konvolusi KAN harus bertambah baik. Pada masa yang sama, apabila dimensi input meningkat, bilangan parameter model juga akan berkembang lebih cepat.