Laporan teknikal Stable Diffusion 3 bocor, seni bina Sora telah membuat pencapaian hebat sekali lagi! Adakah komuniti sumber terbuka dengan ganas mengalahkan Midjourney dan DALL·E 3?

Stability AI mengeluarkan laporan teknikal terperinci hari ini selepas mengeluarkan Stable Diffusion 3.

Kertas ini menyediakan analisis mendalam tentang teknologi teras Stable Diffusion 3 - versi model Difusi yang dipertingkat dan seni bina baharu graf Vincentian berdasarkan DiT!

Alamat laporan:

//m.sbmmt.com/link/e5fb88b398b042f6cccce46bf3fa53e8🜎 human test Jadual Difusi 3. Dalam reka bentuk fon dan tindak balas yang tepat kepada gesaan Dari segi prestasi, ia mengatasi DALL·E 3, Midjourney v6 dan Ideogram v1.

Seni bina Multi-modal Diffusion Transformer (MMDiT) AI yang baru dibangunkan menggunakan set pemberat bebas khusus untuk perwakilan imej dan bahasa. Berbanding dengan versi terdahulu SD 3, MMDiT telah mencapai peningkatan yang ketara dalam pemahaman teks dan ejaan.

Berdasarkan maklum balas manusia, laporan teknikal membandingkan SD 3 dengan sejumlah besar model sumber terbuka SDXL, SDXL Turbo, Stable Cascade, Playground v2.5 dan Pixart-α serta model sumber tertutup DALL·E 3, Midjourney v6 dan Ideogram v1 telah dinilai secara terperinci.

Penilai memilih output terbaik untuk setiap model berdasarkan ketekalan gesaan yang ditentukan, kejelasan teks dan estetika keseluruhan imej.

Hasil ujian menunjukkan bahawa Stable Diffusion 3 telah mencapai atau melebihi tahap tertinggi teknologi penjanaan gambar rajah Vincentian semasa, sama ada dari segi ketepatan dalam gesaan berikut, persembahan teks yang jelas atau keindahan visual imej.

Model SD 3 yang tidak dioptimumkan sepenuhnya perkakasan mempunyai parameter 8B, boleh dijalankan pada GPU pengguna RTX 4090 dengan memori video 24GB, dan menghasilkan resolusi 1024x1024 menggunakan 50 imej mengambil langkah pensampelan. .

Selain itu, Stable Diffusion 3 akan menyediakan berbilang versi apabila dikeluarkan, dengan parameter antara 800 juta hingga 8 bilion, yang boleh menurunkan lagi ambang perkakasan untuk digunakan.

Dalam proses menghasilkan gambar rajah Vincent, model perlu memproses dua jenis maklumat, teks dan imej yang berbeza, pada masa yang sama. Jadi penulis memanggil rangka kerja baharu ini sebagai MMDiT.

Dalam proses penjanaan teks ke imej, model perlu memproses dua jenis maklumat berbeza, teks dan imej, pada masa yang sama. Inilah sebabnya mengapa penulis memanggil teknologi baharu ini MMDiT (singkatan dari Multimodal Diffusion Transformer).

Seperti versi Stable Diffusion sebelumnya, SD 3 menggunakan model pra-latihan untuk mengekstrak ungkapan teks dan imej yang sesuai.

Secara khusus, mereka menggunakan tiga pengekod teks berbeza—dua model CLIP dan T5—untuk memproses maklumat teks, sambil menggunakan model pengekodan auto yang lebih maju untuk memproses maklumat imej.

Seni bina SD 3 dibina berdasarkan Diffusion Transformer (DiT). Disebabkan perbezaan antara maklumat teks dan imej, SD 3 menetapkan pemberat bebas untuk setiap dua jenis maklumat ini.

Reka bentuk ini bersamaan dengan melengkapkan dua Transformer bebas untuk setiap jenis maklumat, tetapi apabila melaksanakan mekanisme perhatian, urutan data kedua-dua jenis maklumat akan digabungkan, supaya mereka boleh bekerja secara bebas dalam bidang masing-masing, boleh mengekalkan rujukan dan integrasi bersama.

Melalui seni bina unik ini, maklumat imej dan teks boleh mengalir dan berinteraksi antara satu sama lain, dengan itu meningkatkan pemahaman keseluruhan kandungan dan perwakilan visual dalam hasil yang dihasilkan.

Selain itu, seni bina ini boleh diperluaskan dengan mudah kepada modaliti lain termasuk video pada masa hadapan.

Terima kasih kepada penambahbaikan SD 3 dalam gesaan berikut, model ini mampu menjana imej dengan tepat yang memfokus pada pelbagai tema dan ciri yang berbeza, sambil mengekalkan tahap fleksibiliti yang tinggi dalam gaya imej.

Peningkatan Aliran Diperbetulkan melalui kaedah pemberat semula

Selain seni bina Diffusion Transformer baharu, SD 3 juga membuat penambahbaikan yang ketara pada model Diffusion.

SD 3 mengguna pakai strategi Rectified Flow (RF) untuk menyambung data latihan dan hingar di sepanjang trajektori lurus.

Kaedah ini menjadikan laluan inferens model lebih langsung, jadi penjanaan sampel boleh diselesaikan dalam langkah yang lebih sedikit.

Pengarang memperkenalkan pelan persampelan trajektori yang inovatif dalam proses latihan, terutamanya meningkatkan berat pada bahagian tengah trajektori, di mana tugas ramalan adalah lebih mencabar.

Dengan membandingkan dengan 60 trajektori resapan lain (seperti LDM, EDM dan ADM), penulis mendapati bahawa walaupun kaedah RF sebelumnya menunjukkan prestasi yang lebih baik dalam persampelan beberapa langkah, prestasi perlahan-lahan menurun apabila bilangan langkah pensampelan meningkat. .

Untuk mengelakkan situasi ini, kaedah RF wajaran yang dicadangkan oleh penulis boleh terus meningkatkan prestasi model.

Model Transformer RF Lanjutan

Kestabilan AI melatih berbilang model saiz berbeza, daripada 15 modul dan parameter 450M kepada 38 modul dan parameter 8B, dan mendapati kedua-dua saiz model dan langkah latihan dapat mengurangkan kehilangan pengesahan dengan lancar.

Untuk mengesahkan sama ada ini bermakna peningkatan yang ketara dalam output model, mereka juga menilai metrik penjajaran imej automatik dan skor keutamaan manusia.

Hasilnya menunjukkan bahawa penunjuk penilaian ini berkorelasi kuat dengan kehilangan pengesahan, menunjukkan bahawa kehilangan pengesahan adalah penunjuk yang berkesan untuk mengukur prestasi keseluruhan model.

Selain itu, aliran pengembangan ini tidak mencapai titik tepu, menjadikan kami optimis bahawa kami boleh meningkatkan lagi prestasi model pada masa hadapan.

Pengarang melatih model untuk 500k langkah dengan bilangan parameter yang berbeza pada resolusi 256 * 256 piksel dan saiz kelompok 4096.

Rajah di atas menggambarkan kesan melatih model yang lebih besar untuk masa yang lama terhadap kualiti sampel.

Jadual di atas menunjukkan keputusan Geneval. Apabila menggunakan kaedah latihan yang dicadangkan oleh pengarang dan meningkatkan resolusi imej latihan, model terbesar menunjukkan prestasi yang baik dalam kebanyakan kategori, mengatasi DALL·E sebanyak 3 dalam skor keseluruhan.

Menurut perbandingan ujian pengarang terhadap model seni bina yang berbeza, MMDiT sangat berkesan, mengatasi DiT, Cross DiT, UViT dan MM-DiT.

Pengekod teks fleksibel

Dengan mengalih keluar pengekod teks T5 parameter 4.7B intensif memori semasa fasa inferens, keperluan memori SD 3 dikurangkan dengan ketara dengan kehilangan prestasi yang minimum.

Mengalih keluar pengekod teks ini tidak akan menjejaskan keindahan visual imej (kadar kemenangan 50% tanpa T5), tetapi hanya akan mengurangkan sedikit keupayaan teks untuk mengikuti dengan tepat (kadar kemenangan 46%).

Walau bagaimanapun, untuk memberikan permainan penuh kepada keupayaan SD 3 untuk menjana teks, penulis masih mengesyorkan menggunakan pengekod T5.

Oleh kerana pengarang mendapati bahawa tanpanya, prestasi penetapan taip yang dihasilkan teks akan mengalami penurunan yang lebih besar (kadar kemenangan 38%). Perbincangan hangat dalam kalangan netizen

Selepas membaca aplikasi teknikal, netizen berkata nampaknya bulatan fotografi kini akan menjadi trek pertama di mana sumber terbuka akan menghancurkan sumber tertutup!