Memperkenalkan rangka kerja GIF baharu: Mengikuti contoh manusia, paradigma baharu penguatan set data telah tiba

• Pautan kertas: https://browse.arxiv.org/pdf/2211.13976.pdf
• GitHub: https://github.com/Vanintpan🜎

Sebagai kita semua tahu ,Prestasi rangkaian saraf dalam banyak bergantung pada, kuantiti dan kualiti data latihan, yang menjadikannya sukar untuk mengaplikasikan pembelajaran mendalam secara meluas kepada data kecil, tugasan. Contohnya, dalam senario aplikasi data kecil dalam bidang perubatan dan lain-lain, pengumpulan dan pelabelan set data berskala besar secara manual selalunya memakan masa dan susah payah. Untuk menangani masalah kekurangan data ini dan meminimumkan kos pengumpulan data, kertas kerja ini meneroka paradigma baharu penambahan set data, yang bertujuan untuk menjana data baharu secara automatik untuk mengembangkan set data kecil tugasan sasaran menjadi lebih besar dan lebih bermaklumat set. Set data yang dikembangkan ini dikhususkan untuk meningkatkan prestasi dan keupayaan generalisasi model, dan boleh digunakan untuk melatih struktur rangkaian yang berbeza

Kerja ini mendapati bahawa hanya menggunakan kaedah sedia ada tidak dapat mengembangkan set data dengan baik. (1) Peningkatan data rawak terutamanya mengubah ciri visual permukaan gambar, tetapi tidak boleh mencipta gambar dengan kandungan objek baharu (teratai dalam gambar di bawah masih sama, tiada teratai baharu dihasilkan), jadi jumlah maklumat yang diperkenalkan adalah terhad. Apa yang lebih serius ialah peningkatan data rawak boleh memangkas kedudukan lesi (perubahan) imej perubatan, mengakibatkan pengurangan maklumat penting sampel dan juga penjanaan data bising. (2) Secara langsung menggunakan model generatif (penyebaran) pra-latihan untuk amplifikasi set data tidak dapat meningkatkan prestasi model dengan baik pada tugas sasaran. Ini kerana data pra-latihan model generatif ini selalunya mempunyai perbezaan pengedaran yang besar dengan data sasaran, yang mengakibatkan jurang taburan dan kategori tertentu antara data yang mereka jana dan tugas sasaran, dan adalah mustahil untuk memastikan bahawa yang dihasilkan sampel mempunyai label yang betul dan berguna untuk latihan model.

Untuk melakukan penambahan set data dengan lebih cekap, penyelidik telah meneroka pembelajaran bersekutu manusia. Apabila manusia mempunyai pengetahuan awal tentang sesuatu objek, mereka boleh membayangkan dengan mudah variasi objek yang berbeza, seperti variasi anjing dalam pelbagai jenis, warna, bentuk atau latar belakang dalam gambar di bawah. Proses pembelajaran imaginatif ini sangat instruktif untuk penambahan set data kerana ia lebih daripada sekadar mengganggu penampilan haiwan dalam gambar, tetapi menggunakan pengetahuan sedia ada yang kaya untuk mencipta gambar varian dengan maklumat baharu

Walau bagaimanapun, kita tidak boleh. secara langsung memodelkan manusia sebagai model terdahulu untuk imaginasi data. Nasib baik, model generatif baru-baru ini (seperti Stable Diffusion, DALL-E2) telah menunjukkan keupayaan yang berkuasa untuk menyesuaikan pengedaran set data berskala besar, dan boleh menjana imej yang kaya dan realistik. Ini memberi inspirasi kepada kertas kerja ini untuk menggunakan model generatif yang telah dilatih sebagai model terdahulu, memanfaatkan pengetahuan sedia ada yang kukuh untuk melaksanakan perkaitan dan penguatan data yang cekap pada set data kecil.

Berdasarkan idea di atas, karya ini mencadangkan Rangka Kerja Imaginasi Berpandu (GIF) baharu. Kaedah ini secara berkesan boleh meningkatkan prestasi klasifikasi dan keupayaan generalisasi rangkaian saraf dalam pada tugas imej semula jadi dan perubatan, dan sangat mengurangkan kos besar yang disebabkan oleh pengumpulan dan anotasi data manual. Pada masa yang sama, set data yang diperluaskan juga membantu menggalakkan pembelajaran pemindahan model dan mengurangkan masalah ekor panjang.

Seterusnya, mari kita lihat bagaimana paradigma baharu penguatan set data ini direka bentuk.

Kaedah

Cabaran dan piawaian panduan untuk penguatan set data Terdapat dua cabaran utama dalam mereka bentuk kaedah penguatan set data: (1) Bagaimana untuk menjadikan sampel yang dihasilkan mempunyai label kategori yang betul? (2) Bagaimana untuk memastikan sampel yang dihasilkan mengandungi maklumat baharu untuk mempromosikan latihan model? Untuk menangani dua cabaran ini, kerja ini menemui dua kriteria panduan penguatan melalui eksperimen yang meluas: (1) peningkatan maklumat konsisten kategori; (2) peningkatan kepelbagaian sampel;

Rangka Kerja Kaedah Berdasarkan piawaian panduan amplifikasi yang ditemui, karya ini mencadangkan Rangka Kerja Pembesaran Imaginasi Berpandu (GIF). Untuk setiap sampel benih input x, GIF mula-mula mengekstrak ciri sampel f menggunakan pengekstrak ciri model generatif terdahulu dan melakukan gangguan hingar pada ciri: . Cara paling mudah untuk menetapkan hingar (z, b) ialah menggunakan hingar rawak Gaussian, tetapi ia tidak dapat memastikan sampel yang dihasilkan mempunyai label kelas yang betul dan membawa lebih banyak maklumat. Oleh itu, untuk penguatan set data yang cekap, GIF mengoptimumkan gangguan hingar berdasarkan garis panduan penguatan yang ditemui, iaitu .

Piawaian panduan amplifikasi yang digunakan dilaksanakan seperti berikut. Indeks kuantiti maklumat konsisten kelas: ; indeks kepelbagaian sampel: . Dengan memaksimumkan kedua-dua penunjuk ini, GIF boleh mengoptimumkan gangguan bunyi dengan berkesan, dengan itu menghasilkan sampel yang mengekalkan ketekalan kategori dan membawa kandungan maklumat yang lebih besar.

Eksperimen

Kesahan Penguatan GIF mempunyai kesahihan penguatan yang lebih kukuh: GIF-SD meningkatkan ketepatan klasifikasi dengan purata 36.9% pada 3 set data set data semula jadi dan pada purata ketepatan set data perubatan 6 kelas bertambah baik sebanyak 13.5%.

Kecekapan amplifikasi GIF mempunyai kecekapan amplifikasi yang lebih kuat: pada set data Kereta dan DTD, kesan penggunaan GIF-SD untuk penguatan 5 kali ganda malah melebihi kesan penggunaan penambahan data rawak 20 -penguatan lipatan.

Hasil visualisasi Kaedah penambahan data sedia ada tidak boleh menjana kandungan imej baharu, manakala GIF boleh menjana sampel dengan kandungan baharu dengan lebih baik.

Kaedah peningkatan sedia ada boleh mengurangkan lokasi lesi dalam imej perubatan, menyebabkan maklumat sampel berkurangan dan penjanaan hingar, manakala GIF boleh mengekalkan semantik kategorinya dengan lebih baik

Berbanding dengan pengumpulan dan anotasi data manual, GIF boleh mengurangkan masa dan kos penguatan set data dengan banyak.

Kepelbagaian data yang diperkuatkanSetelah diperkuat, set data ini boleh digunakan terus untuk melatih pelbagai struktur model rangkaian saraf.

Tingkatkan keupayaan generalisasi model GIF membantu meningkatkan prestasi generalisasi luar pengedaran model (pengertian OOD).

Melegakan masalah ekor panjang GIF membantu mengurangkan masalah ekor panjang.

Semakan Keselamatan Imej yang dijana GIF adalah selamat dan tidak berbahaya.

Berdasarkan keputusan eksperimen di atas, kami mempunyai sebab untuk mempercayai bahawa dengan mensimulasikan pembelajaran analogi dan imaginasi manusia, kaedah yang direka dalam kertas ini dapat mengembangkan set data kecil dengan berkesan, dengan itu meningkatkan prestasi rangkaian saraf dalam dalam pelaksanaan senario tugas data kecil dan aplikasi.

Atas ialah kandungan terperinci Memperkenalkan rangka kerja GIF baharu: Mengikuti contoh manusia, paradigma baharu penguatan set data telah tiba. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!