MIT dan Google bersama-sama menyelidik teknologi baharu StableRep: menggunakan imej sintetik untuk melatih model imej AI

Penekanan kepada:

Para penyelidik telah mencadangkan teknologi baharu yang dipanggil StableRep yang menggunakan imej yang dihasilkan oleh kecerdasan buatan untuk melatih model imej kecerdasan buatan yang sangat terperinci

StableRep melatih menggunakan berjuta-juta imej sintetik berlabel, menggunakan "kaedah pembelajaran kontras berbilang positif" untuk meningkatkan proses pembelajaran dan menggunakannya pada model teks-ke-imej sumber terbuka Stable Diffusion

- ⚙️ Walaupun StableRep telah mencapai pencapaian yang luar biasa dalam klasifikasi ImageNet, ia adalah lambat untuk menjana imej, dan terdapat ketidakpadanan semantik antara pembayang teks dan imej yang dijana.

Berita Laman Utama Webmaster (ChinaZ.com) pada 28 November: Penyelidik dari MIT dan Google baru-baru ini membangunkan teknologi baharu yang dipanggil StableRep, yang bertujuan untuk menggunakan imej yang dihasilkan oleh AI untuk melatih model imej AI yang lebih terperinci dan cekap. Teknologi ini telah digunakan pada model teks-ke-imej sumber terbuka Stable Diffusion, mencapai satu siri pencapaian yang ketara.

StableRep menggunakan kaedah unik yang dipanggil "kaedah pembelajaran kontras berbilang positif". Dalam pendekatan ini, berbilang imej yang berasal daripada gesaan teks yang sama dilihat sebagai kontras positif antara satu sama lain untuk meningkatkan proses pembelajaran. Sebagai contoh, untuk gesaan teks landskap, model akan membandingkan berbilang imej landskap yang dijana dengan semua huraian yang berkaitan untuk mencari perbezaan kecil berdasarkan imej ini dan menerapkannya pada output akhir, menghasilkan imej yang sangat terperinci

Para penyelidik mendapati bahawa kaedah mereka cemerlang dalam memperlakukan berbilang imej sebagai ungkapan perkara asas yang sama, bukannya hanya sebagai koleksi piksel. Eksperimen telah membuktikan bahawa StableRep mencapai ketepatan linear sebanyak 76.7% dalam tugas pengelasan ImageNet menggunakan model Pengubah Penglihatan. Tambahan pula, dengan memperkenalkan penyeliaan bahasa, model StableRep yang dilatih pada 20 juta imej sintetik mengatasi prestasi model CLIP yang dilatih pada 50 juta imej sebenar

Walau bagaimanapun, penjana stabil bukan tanpa kelemahan. Ia menjana imej secara perlahan dan mengalami ketidakpadanan semantik antara gesaan teks dan imej yang dijana. Selain itu, resapan stabil, model asas penjana stabil, memerlukan latihan awal tentang data sebenar, jadi penjanaan imej menggunakan penjana stabil akan mengambil masa yang lebih lama dan berkemungkinan lebih mahal

StableRep telah menjadi sumber terbuka pada GitHub dan tersedia untuk kegunaan komersial. Ia mengguna pakai lesen Apache 2.0, dan pengguna boleh menggunakannya serta menjana karya terbitan, tetapi mereka perlu menyediakan salinan Lesen Apache dalam kerja yang diedarkan semula atau kerja terbitan dan menyertakan notis perubahan itu. Lesen juga termasuk had ke atas liabiliti pencarum untuk sebarang kerosakan yang timbul daripada penggunaan kerja berlesen. Stable Replica (StableRep) telah dikeluarkan sebagai sumber terbuka di GitHub dan boleh digunakan untuk tujuan komersial. Ia menggunakan lesen Apache2.0, yang membolehkan pengguna menggunakan dan mencipta karya terbitan. Walau bagaimanapun, dalam pengagihan semula atau karya terbitan, pengguna dikehendaki menyediakan salinan Lesen Apache dan memaklumkan perubahan yang dibuat. Lesen ini juga menanggung rugi pencarum daripada sebarang bahaya yang disebabkan oleh penggunaan kerja berlesen oleh mereka

Hasil penyelidikan daripada MIT dan Google ini mewakili satu inovasi dalam bidang penjanaan imej kecerdasan buatan. Walaupun ia mempunyai beberapa kelemahan, ia menyediakan kaedah dan idea baharu untuk menjana imej berkualiti tinggi

Atas ialah kandungan terperinci MIT dan Google bersama-sama menyelidik teknologi baharu StableRep: menggunakan imej sintetik untuk melatih model imej AI. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!