Teori dan teknik kemas kini berat dalam rangkaian saraf

Kemas kini berat dalam rangkaian saraf adalah untuk melaraskan berat sambungan antara neuron dalam rangkaian melalui kaedah seperti algoritma perambatan belakang untuk meningkatkan prestasi rangkaian. Artikel ini akan memperkenalkan konsep dan kaedah kemas kini berat untuk membantu pembaca lebih memahami proses latihan rangkaian saraf.

1. Konsep

Berat dalam rangkaian saraf ialah parameter yang menghubungkan neuron yang berbeza dan menentukan kekuatan penghantaran isyarat. Setiap neuron menerima isyarat daripada lapisan sebelumnya, mendarabkannya dengan berat sambungan, menambah istilah bias, dan akhirnya diaktifkan melalui fungsi pengaktifan dan diteruskan ke lapisan seterusnya. Oleh itu, saiz berat secara langsung mempengaruhi kekuatan dan arah isyarat, yang seterusnya mempengaruhi output rangkaian saraf.

Tujuan kemas kini berat badan adalah untuk mengoptimumkan prestasi rangkaian saraf. Semasa proses latihan, rangkaian saraf menyesuaikan diri dengan data latihan dengan melaraskan pemberat antara neuron secara berterusan untuk meningkatkan keupayaan ramalan pada data ujian. Dengan melaraskan pemberat, rangkaian saraf boleh memuatkan data latihan dengan lebih baik, dengan itu meningkatkan ketepatan ramalan. Dengan cara ini, rangkaian saraf boleh meramalkan dengan lebih tepat keputusan data yang tidak diketahui, mencapai prestasi yang lebih baik.

2. Kaedah

Kaedah kemas kini berat yang biasa digunakan dalam rangkaian saraf termasuk keturunan kecerunan, keturunan kecerunan stokastik dan keturunan kecerunan kelompok.

Kaedah turun kecerunan

Kaedah turun kecerunan ialah salah satu kaedah kemas kini berat yang paling asas adalah untuk mengemas kini berat dengan mengira kecerunan fungsi kehilangan kepada berat (iaitu terbitan bagi. fungsi kehilangan kepada berat), supaya meminimumkan fungsi kehilangan. Secara khusus, langkah-langkah kaedah penurunan kecerunan adalah seperti berikut:

Pertama, kita perlu mentakrifkan fungsi kehilangan untuk mengukur prestasi rangkaian saraf pada data latihan. Biasanya, kami akan memilih ralat min kuasa dua (MSE) sebagai fungsi kehilangan, yang ditakrifkan seperti berikut:

MSE=frac{1}{n}sum_{i=1}^{n}(y_i-hat {y_i })^2

di mana, y_i mewakili nilai sebenar sampel ke-i, hat{y_i} mewakili nilai ramalan sampel ke-i oleh rangkaian saraf, dan n mewakili jumlah bilangan sampel.

Kemudian, kita perlu mengira derivatif fungsi kehilangan berkenaan dengan berat, iaitu kecerunan. Khususnya, bagi setiap berat w_{ij} dalam rangkaian saraf, kecerunannya boleh dikira dengan formula berikut:

frac{partial MSE}{partial w_{ij}}=frac{2}{n}sum_ { k=1}^{n}(y_k-hat{y_k})cdot f'(sum_{j=1}^{m}w_{ij}x_{kj})cdot x_{ki}

di mana , n mewakili jumlah bilangan sampel, m mewakili saiz lapisan input rangkaian saraf, x_{kj} mewakili ciri input ke-j bagi sampel ke-k, f(cdot) mewakili fungsi pengaktifan, dan f'( cdot) mewakili terbitan fungsi pengaktifan. . Kadar, mengawal saiz langkah kemas kini berat.

Kaedah turunan kecerunan stokastik

Kaedah turunan kecerunan stokastik ialah varian kaedah keturunan kecerunan. Idea asasnya ialah memilih sampel secara rawak setiap kali untuk mengira kecerunan dan mengemas kini pemberat. Berbanding dengan kaedah keturunan kecerunan, kaedah keturunan kecerunan stokastik boleh menumpu lebih cepat dan lebih cekap apabila memproses set data berskala besar. Secara khusus, langkah-langkah kaedah penurunan kecerunan stokastik adalah seperti berikut:

Pertama, kita perlu mengocok data latihan dan memilih sampel x_k secara rawak untuk mengira kecerunan. Kemudian, kita boleh mengira derivatif fungsi kehilangan berkenaan dengan berat dengan formula berikut:

frac{partial MSE}{partial w_{ij}}=2(y_k-hat{y_k})cdot f' (jumlah_{j= 1}^{m}w_{ij}x_{kj})cdot x_{ki}

di mana, y_k mewakili nilai sebenar sampel ke-k, dan hat{y_k} mewakili ramalan sampel k-th dengan nilai rangkaian saraf. . Kadar, mengawal saiz langkah kemas kini berat.

Kaedah keturunan kecerunan kelompok

Kaedah keturunan kecerunan kelompok ialah satu lagi varian kaedah keturunan kecerunan Idea asasnya ialah menggunakan sekumpulan kecil sampel setiap kali untuk mengira kecerunan dan mengemas kini pemberat. Berbanding dengan kaedah keturunan kecerunan dan kaedah keturunan kecerunan stokastik, kaedah keturunan kecerunan kelompok boleh menumpu dengan lebih stabil dan lebih cekap apabila memproses set data berskala kecil. Secara khusus, langkah-langkah kaedah penurunan kecerunan kelompok adalah seperti berikut:

Pertama, kita perlu membahagikan data latihan kepada beberapa kelompok mini yang sama saiz, setiap kelompok mini mengandungi sampel b. Kami kemudiannya boleh mengira kecerunan purata fungsi kehilangan terhadap pemberat pada setiap kelompok mini, iaitu:

frac{1}{b}sum_{k=1}^{b}frac{partial MSE}{ separa w_ {ij}}

di mana, b mewakili saiz kumpulan mini. Akhir sekali, kita boleh mengemas kini pemberat melalui formula berikut:

w_{ij}=w_{ij}-alphacdotfrac{1}{b}sum_{k=1}^{b}frac{partial MSE}{partial w_ {ij}}

Antaranya, alpha mewakili kadar pembelajaran, yang mengawal saiz langkah kemas kini berat.

Atas ialah kandungan terperinci Teori dan teknik kemas kini berat dalam rangkaian saraf. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!