Tumbangkan tiga konsep! Penyelidikan terkini Google: Adakah lebih tepat untuk mengira 'keserupaan' dengan model berprestasi rendah?

Mengira persamaan antara imej adalah masalah terbuka dalam penglihatan komputer.

Hari ini, apabila penjanaan imej popular di seluruh dunia, cara mentakrifkan "persamaan" juga merupakan isu utama dalam menilai ketulenan yang dihasilkan imej.

Walaupun terdapat beberapa kaedah yang agak langsung untuk mengira persamaan imej, seperti mengukur perbezaan dalam piksel (seperti FSIM, SSIM), kaedah ini memperoleh Perbezaan dalam persamaan adalah jauh lebih kecil daripada perbezaan yang dilihat oleh mata manusia.

Selepas peningkatan pembelajaran mendalam, beberapa penyelidik mendapati bahawa perwakilan pertengahan diperoleh selepas latihan di ImageNet oleh beberapa pengelas rangkaian saraf, seperti AlexNet, VGG, SqueezeNet , dsb. Digunakan sebagai pengiraan persamaan persepsi.

Dalam erti kata lain, pembenaman lebih dekat dengan persepsi orang ramai tentang persamaan berbilang imej berbanding piksel.

Sudah tentu, ini hanya hipotesis.

Baru-baru ini Google menerbitkan kertas kerja khusus mengkaji sama ada pengelas ImageNet boleh menilai persamaan persepsi dengan lebih baik.

Pautan kertas: https://openreview.net/pdf?id=qrGKGZZvH0​

Walaupun terdapat kerja berdasarkan set data BAPPS yang dikeluarkan pada 2018, skor persepsi (skor persepsi) telah dikaji pada pengelas ImageNet generasi pertama, In Untuk menilai lebih lanjut korelasi antara ketepatan dan skor persepsi, serta kesan pelbagai hiperparameter, hasil penyelidikan model ViT terbaharu ditambahkan pada kertas kerja.

Semakin tinggi ketepatan, semakin teruk persamaan yang dilihat?

Seperti yang kita sedia maklum, ciri yang dipelajari melalui latihan di ImageNet boleh dipindahkan dengan baik kepada banyak tugas hiliran dan meningkatkan prestasi tugas hiliran, yang juga menjadikan pra-latihan pada ImageNet sebagai operasi standard.

Tambahan pula, mencapai ketepatan yang lebih tinggi pada ImageNet selalunya bermakna prestasi yang lebih baik pada set pelbagai tugas hiliran, seperti keteguhan kepada imej yang rosak, Prestasi generalisasi kepada data luar pengedaran dan pemindahan pembelajaran kepada set data kategori yang lebih kecil.

Tetapi dari segi pengiraan persamaan persepsi, semuanya nampak terbalik.

Model yang mencapai ketepatan tinggi pada ImageNet sebenarnya mempunyai skor persepsi yang lebih teruk, manakala model dengan skor "julat pertengahan" tersebut menunjukkan prestasi terbaik dalam tugasan persamaan persepsi.

ImageNet 64 × 64 ketepatan pengesahan (paksi-x), skor persepsi pada set data 64 × 64 BAPPS (paksi-y), Setiap titik biru mewakili pengelas ImageNet

Ia boleh dilihat bahawa pengelas ImageNet yang lebih baik mencapai skor persepsi yang lebih baik pada tahap tertentu, tetapi melepasi Ambang tertentu, meningkatkan ketepatan akan sebenarnya mengurangkan skor persepsi Ketepatan pengelas adalah sederhana (20.0-40.0), dan skor persepsi terbaik boleh diperolehi.

Artikel ini juga mengkaji kesan hiperparameter rangkaian saraf pada skor persepsi, seperti lebar, kedalaman, bilangan langkah latihan, pengurangan berat badan, pelicinan label dan keciciran

Untuk setiap hiperparameter, terdapat ketepatan optimum, dan meningkatkan ketepatan boleh meningkatkan skor persepsi, tetapi nilai optimum ini agak rendah dan dicapai sangat awal dalam sapuan hiperparameter.

Selain itu, peningkatan dalam ketepatan pengelas membawa kepada skor persepsi yang lebih teruk.

Sebagai contoh, artikel memberikan perubahan skor persepsi berbanding dua hiperparameter: langkah latihan dalam ResNets dan lebar dalam ViT.

ResNets yang dihentikan awal mencapai skor persepsi terbaik pada tetapan kedalaman berbeza 6, 50 dan 200

ResNet-50 dan ResNet The persepsi skor -200 mencapai nilai tertinggi dalam beberapa zaman pertama latihan, tetapi selepas kemuncak, nilai skor persepsi pengelas berprestasi lebih baik menurun dengan lebih mendadak.

Hasilnya menunjukkan bahawa latihan dan pelarasan kadar pembelajaran ResNets boleh meningkatkan ketepatan model apabila langkah meningkat. Begitu juga, selepas puncak, model juga menunjukkan penurunan progresif dalam skor persamaan persepsi yang sepadan dengan ketepatan yang semakin meningkat ini.

ViT terdiri daripada satu set blok Transformer yang digunakan pada imej input Lebar model ViT ialah bilangan neuron keluaran bagi satu blok Transformer dengan berkesan ketepatan model.

Dengan menggantikan lebar dua varian ViT, penyelidik memperoleh dua model B/8 (iaitu model Base-ViT, saiz tampalan ialah 4) dan L/4 (iaitu Large - model ViT) dan menilai ketepatan dan skor persepsi.

Hasilnya masih serupa dengan pemerhatian ResNets yang berhenti awal, dengan ViT yang lebih sempit dengan ketepatan yang lebih rendah berprestasi lebih baik daripada lebar lalai.

Walau bagaimanapun, lebar optimum ViT-B/8 dan ViT-L/4 masing-masing ialah 6% dan 12% daripada lebar lalainya, kertas Senarai eksperimen yang lebih terperinci mengenai hiperparameter lain seperti lebar, kedalaman, bilangan langkah latihan, pereputan berat, pelicinan label dan keciciran merentas ResNet dan ViT juga disediakan.

Jadi jika anda ingin menambah baik persamaan yang dilihat, strateginya mudah, cuma kurangkan ketepatan dengan sewajarnya.

Meningkatkan skor persepsi dengan mengecilkan model ImageNet, nilai dalam jadual mewakili apa yang diberikan oleh penskalaan pada model dengan hiperparameter lalai Penambahbaikan yang diperoleh daripada model dengan hiperparameter tetap

Berdasarkan kesimpulan di atas, kertas kerja mencadangkan strategi mudah untuk meningkatkan skor persepsi seni bina: mengecilkan model untuk mengurangkan ketepatan, sehingga Mencapai skor persepsi yang optimum.

Turut kelihatan dalam keputusan eksperimen ialah peningkatan skor persepsi yang diperoleh dengan mengecilkan setiap model pada setiap hiperparameter. Berhenti awal menghasilkan peningkatan skor tertinggi merentas semua seni bina kecuali ViT-L/4, dan berhenti awal ialah strategi paling berkesan tanpa memerlukan carian grid yang memakan masa.

Fungsi persepsi global

Dalam kerja sebelumnya, fungsi persamaan persepsi dikira menggunakan jarak Euclidean merentas dimensi ruang imej.

Pendekatan ini menganggap surat-menyurat langsung antara piksel, tetapi surat-menyurat ini mungkin tidak terpakai pada imej melengkung, diterjemahkan atau diputar.

Dalam artikel ini, penyelidik menggunakan dua fungsi persepsi yang bergantung pada perwakilan global imej, iaitu pemindahan gaya saraf yang menangkap persamaan gaya antara dua imej Fungsi kehilangan gaya dan fungsi jarak pengumpulan purata yang dinormalkan. Fungsi kehilangan gaya

membandingkan matriks korelasi silang antara saluran antara dua imej, manakala fungsi pengumpulan purata membandingkan perwakilan global purata ruang.

Fungsi persepsi global secara konsisten meningkatkan skor persepsi untuk kedua-dua latihan rangkaian dengan hiperparameter lalai dan ResNet-200 sebagai fungsi zaman latihan

Kertas ini juga meneroka beberapa hipotesis untuk menerangkan hubungan antara ketepatan dan skor persepsi dan memperoleh beberapa cerapan tambahan.

Contohnya, ketepatan model tanpa sambungan langkau biasa juga berkadar songsang dengan skor persepsi, dengan lapisan yang lebih dekat dengan output mempunyai purata skor persepsi yang lebih rendah berbanding lapisan yang lebih dekat dengan input .

Kepekaan herotan, kebutiran kategori ImageNet dan kepekaan frekuensi spatial turut diterokai dengan lebih lanjut.

Ringkasnya, kertas kerja ini meneroka isu sama ada meningkatkan ketepatan klasifikasi akan menghasilkan metrik persepsi yang lebih baik. Ia mengkaji hubungan antara ketepatan dan skor persepsi pada ResNets dan ViT di bawah hiperparameter yang berbeza, dan mendapati bahawa skor persepsi adalah berkaitan dengan. Ketepatan menunjukkan hubungan berbentuk U terbalik, di mana skor ketepatan dan persepsi dikaitkan pada tahap tertentu, menunjukkan hubungan berbentuk U terbalik.

Akhir sekali, artikel membincangkan hubungan antara ketepatan dan skor persepsi secara terperinci, termasuk sambungan langkau, fungsi persamaan global, kepekaan herotan, skor persepsi hierarki, kepekaan frekuensi spatial dan kebutiran Kategori ImageNet.

Walaupun penjelasan tepat untuk pertukaran antara ketepatan ImageNet dan persamaan persepsi masih menjadi misteri, makalah ini merupakan langkah pertama ke hadapan.

Atas ialah kandungan terperinci Tumbangkan tiga konsep! Penyelidikan terkini Google: Adakah lebih tepat untuk mengira 'keserupaan' dengan model berprestasi rendah?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!