18 gambar untuk memahami rangkaian saraf, manifold dan topologi secara intuitif

Setakat ini, salah satu kebimbangan besar mengenai rangkaian saraf ialah ia adalah kotak hitam yang sukar untuk dijelaskan. Artikel ini secara teorinya memahami sebab rangkaian saraf sangat berkesan dalam pengecaman dan pengelasan corak Intipatinya adalah untuk memesongkan dan mengubah bentuk input asal melalui lapisan transformasi afin dan transformasi tak linear sehingga ia boleh dibezakan dengan mudah ke dalam kategori yang berbeza. Malah, algoritma perambatan belakang (BP) sebenarnya secara berterusan memperhalusi kesan herotan berdasarkan data latihan.

Bermula kira-kira sepuluh tahun yang lalu, rangkaian saraf dalam telah mencapai keputusan terobosan dalam bidang seperti penglihatan komputer, membangkitkan minat dan perhatian yang besar.

Namun, sebilangan orang masih bimbang. Satu sebab ialah rangkaian saraf ialah kotak hitam: jika rangkaian saraf dilatih dengan baik, hasil berkualiti tinggi boleh diperolehi, tetapi sukar untuk memahami cara ia berfungsi. Jika rangkaian saraf tidak berfungsi, sukar untuk menentukan masalahnya.

Walaupun sukar untuk memahami rangkaian saraf dalam secara keseluruhan, anda boleh bermula dengan rangkaian saraf dalam berdimensi rendah, iaitu rangkaian dengan hanya beberapa neuron dalam setiap lapisan, yang lebih mudah difahami. Kita boleh memahami tingkah laku dan latihan rangkaian saraf dalam dimensi rendah melalui kaedah visualisasi. Kaedah visualisasi membolehkan kita memahami kelakuan rangkaian saraf dengan lebih intuitif dan memerhatikan hubungan antara rangkaian saraf dan topologi.

Seterusnya saya akan bercakap tentang banyak perkara menarik, termasuk batas bawah pada kerumitan rangkaian saraf yang mampu mengklasifikasikan set data tertentu.

1. Contoh mudah

Mari kita mulakan dengan set data yang sangat mudah. Dalam rajah di bawah, dua lengkung pada satah terdiri daripada titik yang tidak terkira banyaknya. Rangkaian saraf akan cuba membezakan garis mana yang dimiliki oleh titik-titik ini.

Cara paling mudah untuk memerhati kelakuan rangkaian saraf (atau mana-mana algoritma pengelasan) ialah melihat cara ia mengelaskan setiap titik data.

Kami bermula dengan rangkaian saraf paling ringkas, yang hanya mempunyai satu lapisan input dan satu lapisan output. Rangkaian saraf sedemikian hanya memisahkan dua jenis titik data dengan garis lurus.

Rangkaian saraf sedemikian terlalu mudah dan kasar. Rangkaian saraf moden selalunya mempunyai berbilang lapisan antara lapisan input dan output, dipanggil lapisan tersembunyi. Malah rangkaian saraf moden yang paling ringkas mempunyai sekurang-kurangnya satu lapisan tersembunyi.

Rangkaian saraf ringkas, sumber Wikipedia

Begitu juga, kami memerhatikan apa yang dilakukan oleh rangkaian saraf untuk setiap titik data. Seperti yang dapat dilihat, rangkaian saraf ini menggunakan lengkung dan bukannya garis lurus untuk memisahkan titik data. Jelas sekali, lengkung lebih kompleks daripada garis lurus.

Setiap lapisan rangkaian saraf menggunakan perwakilan baharu untuk mewakili data. Kita boleh melihat bagaimana data diubah menjadi perwakilan baharu dan bagaimana rangkaian saraf mengklasifikasikannya. Dalam lapisan perwakilan terakhir, rangkaian saraf melukis garis antara dua jenis data (atau satah hiper jika dalam dimensi yang lebih tinggi).

Dalam visualisasi sebelumnya, kami melihat perwakilan mentah data. Anda boleh menganggapnya sebagai rupa data dalam "lapisan input". Sekarang mari kita lihat rupa data selepas ia diubah Anda boleh menganggapnya sebagai rupa data dalam "lapisan tersembunyi".

Setiap dimensi data sepadan dengan pengaktifan neuron dalam lapisan rangkaian saraf.

Lapisan tersembunyi menggunakan kaedah di atas untuk mewakili data, supaya data boleh dipisahkan dengan garis lurus (iaitu, boleh dipisahkan secara linear)

2. Visualisasi lapisan berterusan

Dalam kaedah dalam bahagian sebelumnya, setiap lapisan rangkaian saraf menggunakan perwakilan yang berbeza untuk mewakili data. Dengan cara ini, perwakilan setiap lapisan adalah diskret dan tidak berterusan.

Ini menimbulkan kesukaran dalam pemahaman kita Bagaimana untuk menukar daripada satu perwakilan kepada yang lain? Nasib baik, ciri-ciri lapisan rangkaian saraf menjadikannya sangat mudah untuk memahami aspek ini.

Terdapat pelbagai lapisan berbeza dalam rangkaian saraf. Di bawah ini kita akan membincangkan lapisan tanh sebagai contoh khusus. Lapisan tanh, termasuk:

• Gunakan matriks "berat" W untuk transformasi linear
• Gunakan vektor b untuk terjemahan
• Gunakan tanh untuk mewakili titik demi titik

Kita boleh menganggapnya sebagai transformasi berterusan seperti berikut:

Lapisan piawai lain adalah sama, terdiri daripada aplikasi transformasi affine dan fungsi pengaktifan monotonik.

Kita boleh menggunakan kaedah ini untuk memahami rangkaian saraf yang lebih kompleks. Sebagai contoh, rangkaian saraf di bawah menggunakan empat lapisan tersembunyi untuk mengklasifikasikan dua lingkaran yang sedikit berjalin. Dapat dilihat bahawa untuk mengklasifikasikan data, perwakilan data diubah secara berterusan. Kedua-dua lingkaran pada mulanya terikat, tetapi akhirnya ia boleh dipisahkan oleh garis lurus (boleh dipisahkan secara linear).

Sebaliknya, walaupun rangkaian saraf di bawah juga menggunakan berbilang lapisan tersembunyi, ia tidak boleh membahagikan dua lagi lingkaran yang saling berjalin.

Perlu dinyatakan dengan jelas bahawa dua tugas klasifikasi lingkaran di atas mempunyai beberapa cabaran kerana kami pada masa ini hanya menggunakan rangkaian saraf dimensi rendah. Segala-galanya akan menjadi lebih mudah jika kita menggunakan rangkaian saraf yang lebih luas.

(Andrej Karpathy membuat demo yang baik berdasarkan ConvnetJS, yang membolehkan orang ramai meneroka rangkaian saraf secara interaktif melalui latihan visual seperti ini.)

3 Topologi lapisan tanh

Setiap lapisan rangkaian saraf meregang dan memerah ruang, tetapi ia tidak menggunting, membelah atau melipat ruang. Secara intuitif, rangkaian saraf tidak memusnahkan sifat topologi data. Sebagai contoh, jika satu set data adalah berterusan, maka perwakilan berubahnya juga akan berterusan (dan sebaliknya).

Transformasi seperti ini yang tidak menjejaskan sifat topologi dipanggil homeomorphisms. Secara formal, ia adalah bijeksi bagi fungsi berterusan dua arah.

Teorem: Jika matriks berat W adalah bukan tunggal, dan lapisan rangkaian saraf mempunyai N input dan N output, maka pemetaan lapisan ini adalah homeomorphic (untuk domain tertentu dan julat nilai).

Bukti: Mari kita pergi langkah demi langkah:

1. Anggapkan bahawa W mempunyai penentu bukan sifar. Kemudian ia adalah fungsi linear bilinear dengan songsang linear. Fungsi linear adalah berterusan. Kemudian transformasi seperti "darab dengan W" ialah homeomorphisme; ialah fungsi selanjar dengan songsangan selanjar. (untuk domain dan julat tertentu), ia adalah bijection, dan aplikasi dari segi titiknya ialah homeomorphism.

Oleh itu, jika W mempunyai penentu bukan sifar, lapisan rangkaian neural ini adalah homeomorfik.

Hasil ini masih berlaku jika kita menggabungkan lapisan sedemikian secara rawak.

4. Topologi dan klasifikasi

Mari kita lihat set data dua dimensi, yang mengandungi dua jenis data A dan B:

A ialah merah, B ialah biru

Nota: Untuk mengklasifikasikan set data ini, rangkaian saraf (tanpa mengira kedalaman) mesti mempunyai unit tersembunyi dengan 3 atau lebih lapisan .

Seperti yang dinyatakan di atas, menggunakan unit sigmoid atau lapisan softmax untuk pengelasan adalah bersamaan dengan mencari satah hiper (dalam kes ini, garis lurus) dalam perwakilan lapisan terakhir untuk memisahkan A dan B. Dengan hanya dua unit tersembunyi, rangkaian saraf secara topologi tidak dapat memisahkan data dengan cara ini dan dengan itu tidak dapat mengklasifikasikan set data di atas.

Dalam visualisasi di bawah, lapisan tersembunyi mengubah perwakilan data, dengan garis lurus sebagai garis pemisah. Ia boleh dilihat bahawa garis pemisah terus berputar dan bergerak, tetapi ia tidak pernah dapat memisahkan dua jenis data A dan B dengan baik.

Tidak kira betapa terlatihnya rangkaian saraf, ia tidak dapat menyelesaikan tugas pengelasan dengan baik

Akhirnya, ia hanya dapat mencapai minimum tempatan , mencapai ketepatan klasifikasi 80%.

Contoh di atas hanya mempunyai satu lapisan tersembunyi, dan kerana hanya terdapat dua unit tersembunyi, ia akan gagal dalam pengelasan.

Bukti: Jika terdapat hanya dua unit tersembunyi, sama ada transformasi lapisan ini adalah homeomorfik, atau matriks berat lapisan mempunyai penentu 0. Jika ia adalah homeomorphism, A masih dikelilingi oleh B, dan A dan B tidak boleh dipisahkan oleh garis lurus. Jika terdapat penentu 0, maka set data akan runtuh pada beberapa paksi. Oleh kerana A dikelilingi oleh B, lipatan A pada mana-mana paksi akan menyebabkan beberapa titik data A bercampur dengan B, menjadikannya mustahil untuk membezakan A daripada B.

Tetapi jika kita menambah unit tersembunyi ketiga, masalahnya selesai. Pada masa ini, rangkaian saraf boleh menukar data kepada perwakilan berikut:

Pada masa ini, hyperplane boleh digunakan untuk memisahkan A dan B.

Untuk menjelaskan prinsipnya dengan lebih baik, berikut ialah set data satu dimensi yang lebih mudah sebagai contoh:

Untuk mengklasifikasikan set data ini, lapisan yang terdiri daripada dua atau lebih unit tersembunyi mesti digunakan. Jika anda menggunakan dua unit tersembunyi, anda boleh mewakili data dengan lengkung yang bagus, supaya A dan B boleh dipisahkan dengan garis lurus:

Bagaimana untuk melakukannya Apa tentang? Apabila , salah satu unit tersembunyi diaktifkan; apabila , unit tersembunyi yang lain diaktifkan. Apabila unit tersembunyi sebelumnya diaktifkan dan unit tersembunyi seterusnya tidak diaktifkan, ia boleh dinilai bahawa ini adalah titik data kepunyaan A.

5. Hipotesis Manifold

Adakah hipotesis manifold bermakna untuk memproses set data dunia sebenar (seperti data imej)? Saya rasa ia masuk akal.

Hipotesis manifold bermaksud data semula jadi membentuk manifold berdimensi rendah dalam ruang benamnya. Hipotesis ini mempunyai sokongan teori dan eksperimen. Jika anda percaya pada hipotesis manifold, maka tugas algoritma klasifikasi bermuara kepada memisahkan satu set manifold terjerat.

Dalam contoh sebelumnya, satu kelas mengelilingi kelas yang lain sepenuhnya. Walau bagaimanapun, dalam data dunia sebenar, tidak mungkin manifold imej anjing akan dikelilingi sepenuhnya oleh manifold imej kucing. Walau bagaimanapun, situasi topologi lain yang lebih munasabah masih boleh menyebabkan masalah, seperti yang akan dibincangkan dalam bahagian seterusnya.

6. Pautan dan homotopi

Seterusnya saya akan bercakap tentang satu lagi set data yang menarik: dua torus (tori), A dan B.

Sama seperti situasi set data yang kita bincangkan sebelum ini, anda tidak boleh memisahkan set data n-dimensi tanpa menggunakan dimensi n+1 (dimensi n+1 digunakan di sini) Dalam kes ini ia adalah dimensi ke-4).

Masalah pautan tergolong dalam teori simpulan dalam topologi. Kadang-kadang, apabila kita melihat pautan, kita tidak dapat mengetahui dengan segera sama ada ia adalah pautan yang rosak (nyahpaut bermakna walaupun ia terikat antara satu sama lain, ia boleh dipisahkan melalui ubah bentuk berterusan).

Pautan terputus yang lebih mudah

Jika rangkaian saraf dengan hanya 3 unit tersembunyi dalam lapisan tersembunyi boleh mengklasifikasikan set data, maka set data ini Ia adalah pautan rosak (soalannya: secara teorinya, bolehkah semua pautan rosak diklasifikasikan oleh rangkaian saraf dengan hanya 3 unit tersembunyi?).

Dari perspektif teori simpulan, visualisasi berterusan perwakilan data yang dihasilkan oleh rangkaian saraf bukan sekadar animasi yang bagus, tetapi juga proses membongkar pautan. Dalam topologi, kami memanggil ini isotopi ambien antara pautan asal dan pautan terpisah.

Homomorfisme sekeliling antara manifold A dan manifold B ialah fungsi berterusan:

Setiap satu ialah homeomorfisme X. ialah fungsi ciri, memetakan A ke B. Iaitu, sentiasa beralih daripada memetakan A kepada dirinya sendiri kepada memetakan A kepada B.

Teorem: Jika tiga syarat berikut dipenuhi pada masa yang sama: (1) W adalah bukan tunggal; (2) susunan neuron dalam lapisan tersembunyi boleh disusun secara manual; adalah lebih besar daripada 1, maka input rangkaian saraf Terdapat persamaan lilitan antara perwakilan yang dihasilkan oleh lapisan rangkaian saraf.

Bukti: Kami juga pergi langkah demi langkah:

1. Untuk mencapai penjelmaan linear, kita memerlukan W untuk mempunyai penentu positif. Premis kami ialah penentu bukan sifar, dan jika penentu negatif, kita boleh mengubahnya menjadi positif dengan menukar dua neuron tersembunyi. Ruang matriks penentu positif adalah bersambung laluan, jadi terdapat , oleh itu, , . Dengan fungsi 〈🎜〉, kita boleh teruskan mengalihkan fungsi eigen kepada penjelmaan W, mendarab x dengan matriks peralihan berterusan pada setiap titik pada masa t.

2. Anda boleh beralih daripada fungsi ciri kepada terjemahan b melalui fungsi

.

3. Fungsi

boleh digunakan untuk beralih daripada fungsi ciri kepada aplikasi titik demi titik .

Saya rasa seseorang mungkin berminat dengan soalan berikut: Bolehkah program dibangunkan yang boleh menemui isotop ambien sedemikian secara automatik, dan juga boleh secara automatik membuktikan kesetaraan beberapa pautan berbeza atau Kebolehpisahan pautan tertentu. Saya juga ingin tahu sama ada rangkaian saraf boleh mengalahkan teknologi SOTA semasa dalam hal ini.

Walaupun bentuk pemautan yang kita bincangkan sekarang mungkin tidak akan muncul dalam data dunia nyata, mungkin terdapat generalisasi dimensi yang lebih tinggi dalam data dunia nyata.

Pautan dan simpulan kedua-duanya adalah pancarongga 1 dimensi, tetapi 4 dimensi diperlukan untuk memisahkannya. Begitu juga, untuk memisahkan manifold n-dimensi, ruang dimensi yang lebih tinggi diperlukan. Semua manifold n-dimensi boleh diasingkan dalam 2n+2 dimensi.

7. Kaedah mudah

Untuk rangkaian saraf, kaedah yang paling mudah ialah dengan mencabut terus manifold yang berjalin, dan menarik bahagian yang terjerat Lebih halus lebih baik. Walaupun ini bukan penyelesaian asas yang kami usahakan, ia boleh mencapai ketepatan pengelasan yang agak tinggi dan mencapai minimum tempatan yang agak ideal.

Pendekatan ini menghasilkan derivatif yang sangat tinggi di kawasan yang anda cuba regangan. Untuk menangani perkara ini, anda perlu menggunakan penalti pengecutan, yang menghukum terbitan lapisan titik data.

Minima tempatan tidak berguna untuk menyelesaikan masalah topologi, tetapi masalah topologi mungkin memberikan idea yang baik untuk meneroka dan menyelesaikan masalah di atas.

Sebaliknya, jika kita hanya mementingkan hasil pengelasan yang baik, adakah menjadi masalah bagi kita jika sebahagian kecil manifold itu terjerat dengan manifold lain? Jika kita hanya mengambil berat tentang keputusan pengelasan, maka ini nampaknya tidak menjadi masalah.

(Intuisi saya ialah mengambil jalan pintas seperti ini tidak baik dan boleh membawa kepada jalan buntu. Khususnya, dalam masalah pengoptimuman, mencari minima tempatan tidak benar-benar menyelesaikan masalah, dan jika anda memilih Penyelesaian yang tidak boleh benar-benar menyelesaikan masalah akhirnya akan gagal untuk mencapai prestasi yang baik)

8. Pilih lapisan rangkaian neural yang lebih sesuai untuk memanipulasi manifold?

Saya rasa lapisan rangkaian neural standard tidak sesuai untuk memanipulasi manifold kerana ia menggunakan transformasi afin dan fungsi pengaktifan mengikut arah.

Mungkin kita boleh menggunakan lapisan rangkaian saraf yang sama sekali berbeza?

Satu idea yang terlintas di fikiran ialah, pertama, biarkan rangkaian saraf mempelajari medan vektor yang arahnya ialah arah yang kita mahu gerakkan manifold:

Kemudian mengubah bentuk ruang berdasarkan ini:

Kita boleh mempelajari medan vektor pada titik tetap (hanya pilih beberapa titik tetap daripada set latihan sebagai sauh), dan Interpolasi dalam beberapa cara. Medan vektor di atas mempunyai bentuk:

di mana dan ialah vektor, dan merupakan fungsi Gaussian n-dimensi. Idea ini diilhamkan oleh fungsi asas jejari.

9. Lapisan jiran terdekat K

Perkara saya yang lain ialah kebolehpisahan linear mungkin merupakan keperluan yang berlebihan dan tidak munasabah untuk rangkaian saraf, mungkin menggunakan jiran terdekat k (k-NN) akan menjadi lebih baik. Walau bagaimanapun, algoritma k-NN banyak bergantung kepada perwakilan data Oleh itu, perwakilan data yang baik diperlukan untuk algoritma k-NN untuk mencapai keputusan yang baik.

Dalam percubaan pertama, saya melatih beberapa rangkaian saraf MNIST (CNN dua lapisan, tiada keciciran) dengan kadar ralat di bawah 1%. Kemudian, saya membuang lapisan softmax terakhir dan menggunakan algoritma k-NN, dan beberapa kali keputusan menunjukkan bahawa kadar ralat dikurangkan sebanyak 0.1-0.2%.

Namun, saya rasa pendekatan ini masih salah. Rangkaian saraf masih cuba mengklasifikasikan secara linear, tetapi disebabkan penggunaan algoritma k-NN, ia boleh membetulkan sedikit beberapa ralat yang dibuatnya, dengan itu mengurangkan kadar ralat.

Disebabkan pemberat (1/jarak), k-NN boleh dibezakan dengan perwakilan data yang ia bertindak. Oleh itu, kita boleh terus melatih rangkaian saraf untuk klasifikasi k-NN. Ini boleh dianggap sebagai lapisan "jiran terdekat", yang bertindak serupa dengan lapisan softmax.

Kami tidak mahu memberi maklum balas kepada keseluruhan set latihan untuk setiap kumpulan mini kerana ia terlalu mahal dari segi pengiraan. Saya fikir pendekatan yang baik adalah untuk mengklasifikasikan setiap elemen dalam kelompok mini berdasarkan kategori elemen lain dalam kelompok mini, memberikan setiap elemen berat (1/(jarak dari sasaran pengelasan)).

Malangnya, walaupun dengan seni bina yang kompleks, menggunakan algoritma k-NN hanya boleh mengurangkan kadar ralat kepada 4-5%, manakala menggunakan seni bina mudah kadar ralat adalah lebih tinggi. Walau bagaimanapun, saya tidak banyak berusaha ke dalam hiperparameter.

Tetapi saya masih suka algoritma k-NN kerana ia lebih sesuai untuk rangkaian saraf. Kami mahu mata pada manifold yang sama lebih dekat antara satu sama lain, dan bukannya mendesak menggunakan hyperplanes untuk memisahkan manifold. Ini sama dengan mengecutkan satu manifold sambil menjadikan ruang antara manifold kategori berbeza lebih besar. Ini memudahkan masalah.

10. Ringkasan

Sesetengah ciri topologi data mungkin menyebabkan data ini tidak dapat dipisahkan secara linear menggunakan rangkaian saraf berdimensi rendah (tanpa mengira kedalaman rangkaian saraf). Walaupun secara teknikalnya mungkin, seperti lingkaran, pemisahan sangat sukar dicapai dengan rangkaian saraf berdimensi rendah.

Untuk mengklasifikasikan data dengan tepat, rangkaian saraf kadangkala memerlukan lapisan yang lebih luas. Di samping itu, lapisan rangkaian neural tradisional tidak sesuai untuk memanipulasi manifold walaupun pemberat ditetapkan secara manual, sukar untuk mendapatkan perwakilan transformasi data yang ideal. Lapisan rangkaian saraf baharu mungkin boleh memainkan peranan sokongan yang baik, terutamanya lapisan rangkaian saraf baharu yang diilhamkan dengan memahami pembelajaran mesin daripada perspektif pelbagai.

Atas ialah kandungan terperinci 18 gambar untuk memahami rangkaian saraf, manifold dan topologi secara intuitif. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!