Tokenizer imej baharu ByteDouBao: hanya 32 token diperlukan untuk menjana imej, dan kelajuan ditingkatkan sehingga 410 kali ganda.-AI-php.cn

Tokenizer imej baharu ByteDouBao: hanya 32 token diperlukan untuk menjana imej, dan kelajuan ditingkatkan sehingga 410 kali ganda.

王林

Lepaskan： 2024-06-24 14:03:31

asal

1079 orang telah melayarinya

Tokenizer imej baharu ByteDouBao: hanya 32 token diperlukan untuk menjana imej, dan kelajuan ditingkatkan sehingga 410 kali ganda.

Lajur AIxiv ialah lajur di mana tapak ini menerbitkan kandungan akademik dan teknikal. Dalam beberapa tahun kebelakangan ini, lajur AIxiv laman web ini telah menerima lebih daripada 2,000 laporan, meliputi makmal terkemuka dari universiti dan syarikat utama di seluruh dunia, mempromosikan pertukaran dan penyebaran akademik secara berkesan. Jika anda mempunyai kerja yang sangat baik yang ingin anda kongsikan, sila berasa bebas untuk menyumbang atau hubungi kami untuk melaporkan. E-mel penyerahan: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Dalam perkembangan pesat model generatif, Image Tokenization memainkan peranan yang sangat penting, seperti VAE yang Diffusion bergantung atau VQGAN yang Transformer bergantung pada . Tokenizers ini mengekod imej ke dalam ruang terpendam yang lebih padat, menjadikannya lebih cekap untuk menjana imej resolusi tinggi.

Walau bagaimanapun, Tokenizer sedia ada biasanya memetakan imej input ke dalam matriks 2D yang dikurangkan dalam ruang terpendam Reka bentuk ini secara tersirat mengehadkan hubungan pemetaan antara token dan imej, menjadikannya sukar untuk menggunakan maklumat berlebihan dalam imej dengan berkesan (contohnya. , kawasan bersebelahan selalunya mempunyai ciri yang serupa) untuk mendapatkan pengekodan imej yang lebih berkesan.

Untuk menyelesaikan masalah ini, Pasukan Model Besar ByteDance Beanbao dan Universiti Teknikal Munich mencadangkan Tokenizer imej 1D baharu: TiTok ini melanggar batasan reka bentuk Tokenizer 2D dan boleh memampatkan keseluruhan imej kepada a turutan Token yang lebih padat.

Tokenizer imej baharu ByteDouBao: hanya 32 token diperlukan untuk menjana imej, dan kelajuan ditingkatkan sehingga 410 kali ganda.

Pautan kertas: https://arxiv.org/abs/2406.07550
Pautan projek: https://yucornetto.github.io/projects/titok.html
https://github.com/bytedance/1d-tokenizer

Untuk imej resolusi 256 x 256, TiTok hanya memerlukan sekurang-kurangnya 32 Token untuk menyatakannya, iaitu 256 atau 1024 Token daripada 2D biasa Tokenizer berkurangan dengan ketara. Untuk imej resolusi 512 x 512, TiTok memerlukan sekurang-kurangnya 64 Token, iaitu 64 kali lebih kecil daripada Stable Diffusion's VAE Tokenizer. Di samping itu, atas tugas penjanaan imej ImageNet, menggunakan TiTok sebagai penjana Tokenizer telah meningkatkan kualiti penjanaan dan kelajuan penjanaan dengan ketara.

Pada resolusi 256, TiTok mencapai FID 1.97, dengan ketara melebihi 4.21 MaskGIT menggunakan penjana yang sama. Pada resolusi 512 TiTok boleh mencapai FID 2.74, yang bukan sahaja melebihi DiT (3.04), tetapi juga mempercepatkan penjanaan imej sebanyak 410 kali ganda berbanding DiT! Varian terbaik TiTok mencapai FID 2.13, dengan ketara melebihi DiT sementara masih mencapai pecutan 74x.

Tokenizer imej baharu ByteDouBao: hanya 32 token diperlukan untuk menjana imej, dan kelajuan ditingkatkan sehingga 410 kali ganda.

Dengan token yang diperlukan untuk imej untuk menghasilkan kelajuan generasi yang lebih cepat, tetapi sambil mengekalkan penjanaan imej yang berkualiti tinggi.

Tokenizer imej baharu ByteDouBao: hanya 32 token diperlukan untuk menjana imej, dan kelajuan ditingkatkan sehingga 410 kali ganda. Struktur model

Struktur TiTok adalah sangat mudah Bahagian pengekod dan penyahkod masing-masing adalah ViT Semasa proses pengekodan, satu set pengekodan tampalan imej Selepas melalui pengekod, hanya token terpendam dikekalkan dan proses pengkuantitian dilakukan. Token terpendam terkuantisasi yang diperolehi akan disambungkan bersama-sama dengan satu set token topeng dan dihantar kepada penyahkod untuk membina semula imej daripada jujukan token topeng.

Kajian tentang sifat Tokenisasi 1D

Para penyelidik menjalankan satu siri kajian eksperimen ke atas bilangan token berbeza yang digunakan untuk mewakili imej, saiz tokenizer yang berbeza, prestasi pembinaan semula, prestasi penjanaan, ketepatan probing linear, dan latihan dan Perbandingan kelajuan penaakulan. Semasa proses ini, penyelidik mendapati bahawa (1) hanya 32 Token boleh mencapai pembinaan semula dan kesan penjanaan yang baik (2) Dengan meningkatkan saiz model Tokenizer, penyelidik boleh menggunakan lebih sedikit Token untuk mewakili imej ( 3) Apabila gambar diwakili oleh Token yang lebih sedikit , Tokenizer akan mempelajari maklumat semantik yang lebih kukuh (4) Apabila Token yang lebih sedikit digunakan untuk mewakili gambar, kelajuan latihan dan inferens dipertingkatkan dengan ketara.

Tokenizer imej baharu ByteDouBao: hanya 32 token diperlukan untuk menjana imej, dan kelajuan ditingkatkan sehingga 410 kali ganda.

Selain itu, video tersebut menunjukkan imej yang dibina semula menggunakan saiz Tokenizer yang berbeza dan bilangan Token Dapat dilihat bahawa Tokenizer yang lebih besar boleh membina semula imej yang lebih berkualiti dengan Token terhad. Di samping itu, apabila terdapat hanya token terhad, model ini lebih cenderung untuk mengekalkan kawasan yang menonjol dan mencapai hasil pembinaan semula yang lebih baik.

Tokenizer imej baharu ByteDouBao: hanya 32 token diperlukan untuk menjana imej, dan kelajuan ditingkatkan sehingga 410 kali ganda.

Pengesahan eksperimen

Para penyelidik terutamanya membandingkan dengan kaedah lain pada resolusi 256 x 256 dan resolusi 512 x 512 ImageNet-1k. Dapat dilihat bahawa walaupun TiTok menggunakan bilangan Token yang terhad, ia boleh mencapai hasil pembinaan semula yang setanding (rFID) dengan kaedah lain yang menggunakan lebih banyak Token Menggunakan bilangan Token yang lebih kecil membolehkan TiTok mengekalkan kualiti imej terjana (gFID) yang lebih tinggi pada masa yang sama, ia mempunyai kelajuan penjanaan yang jauh lebih pantas daripada kaedah lain.

Sebagai contoh, TiTok-L-32 mencapai skor gFID 2.77 dan boleh menjana imej pada kelajuan 101.6 imej sesaat, yang jauh lebih pantas daripada Model Resapan lain (169 kali lebih pantas daripada DiT) atau Model Transformer (339 kali lebih pantas daripada ViT-VQGAN).

Tokenizer imej baharu ByteDouBao: hanya 32 token diperlukan untuk menjana imej, dan kelajuan ditingkatkan sehingga 410 kali ganda.

Kelebihan TiTok menggunakan lebih sedikit token adalah lebih jelas dalam penjanaan imej resolusi lebih tinggi, di mana TiTok-L-64 boleh melengkapkannya menggunakan hanya 64 token Pembinaan semula dan penjanaan tinggi- imej resolusi 512 berkualiti Kualiti imej yang dihasilkan bukan sahaja lebih tinggi daripada DiT (2.74 lwn. 3.04), tetapi kelajuan penjanaan meningkat hampir 410 kali.

Tokenizer imej baharu ByteDouBao: hanya 32 token diperlukan untuk menjana imej, dan kelajuan ditingkatkan sehingga 410 kali ganda.

Kesimpulan

Dalam artikel ini, penyelidik memfokuskan pada Tokenizer Imej 1D baharu dan mencadangkan Tokenizer baharu untuk mematahkan batasan penggunaan Token 2D yang lebih maju dan menjadikannya lebih maju. maklumat berlebihan dalam imej. TiTok hanya memerlukan sebilangan kecil Token (seperti 32) untuk mewakili imej, sementara masih dapat melakukan pembinaan semula dan penjanaan imej berkualiti tinggi. Dalam eksperimen penjanaan resolusi 256 dan 512 ImageNet, TiTok bukan sahaja mencapai kualiti penjanaan yang melebihi Model Penyebaran, tetapi juga mencapai kelajuan penjanaan seratus kali lebih pantas. . Menyumbang kepada pembangunan teknologi dan sosial.

Pasukan Doubao Big Model mempunyai visi dan keazaman jangka panjang dalam bidang AI Arah penyelidikannya meliputi NLP, CV, ucapan, dsb., dan ia mempunyai makmal dan jawatan penyelidikan di China, Singapura, United. Negeri dan tempat lain. Bergantung pada data yang mencukupi, pengkomputeran dan sumber lain, pasukan itu terus melabur dalam bidang yang berkaitan telah melancarkan model besar umum yang dibangunkan sendiri untuk menyediakan keupayaan berbilang modal Ia menyokong 50+ perniagaan seperti Doubao, Buttons, dan Jimeng di hilir, dan terbuka kepada orang ramai melalui pelanggan Korporat. Pada masa ini, Doubao APP telah menjadi aplikasi AIGC dengan bilangan pengguna terbesar di pasaran China.

Selamat datang ke Pasukan Model Besar Bytedance Beanbao, klik pautan di bawah untuk memasuki pelan Bytedance Top Seed:

https://mp.weixin.qq.com/s/ZjQ-v6reZXhBP6G27cbmlQ

Atas ialah kandungan terperinci Tokenizer imej baharu ByteDouBao: hanya 32 token diperlukan untuk menjana imej, dan kelajuan ditingkatkan sehingga 410 kali ganda.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!