Dengan satu klik, semuanya bergerak! Tencent Hunyuan bergabung tenaga dengan Universiti Tsinghua dan Universiti Sains dan Teknologi Hong Kong untuk melancarkan model video Tuxing 'Ikuti Klik Anda'

Diedit |. Dihasilkan oleh Yan Zheng

|. 51CTO Technology Stack (WeChat ID: blog51cto)

Pada 15 Mac, Tencent Hunyuan, Universiti Tsinghua dan Universiti Sains dan Teknologi Hong Kong secara bersama melancarkan video "F Tusheng" -Your- Click", berdasarkan imej model input, cuma klik pada kawasan yang sepadan dan tambahkan beberapa perkataan segera untuk menjadikan kawasan statik asal dalam imej bergerak dan menukarnya menjadi video dengan satu klik.

Dalam model video Tucson yang besar semasa, kaedah penjanaan umum bukan sahaja memerlukan pengguna untuk menerangkan kawasan pergerakan dalam perkataan segera, tetapi juga perlu memberikan penerangan terperinci tentang arahan pergerakan , yang merupakan proses yang rumit. Di samping itu, dari perspektif kesan yang dijana, teknologi video penjanaan imej yang sedia ada tidak mempunyai kawalan ke atas menggerakkan bahagian tertentu pada imej dan fleksibiliti.

Untuk menyelesaikan masalah ini, pasukan projek bersama Pasukan Model Tencent Hunyuan, Universiti Tsinghua dan Universiti Sains dan Teknologi Hong Kong mencadangkan model penjanaan imej-ke-video yang lebih praktikal dan boleh dikawal, Ikut-Klik Anda , untuk membawa interaksi yang lebih mudah Ia juga menjadikannya realiti untuk "menggerakkan segala-galanya dengan satu klik" gambar.

Teknologi penjanaan imej-ke-video mempunyai prospek yang luas dalam aplikasi AIGC dalam pelbagai industri seperti pengeluaran kandungan filem, realiti tambahan, pengeluaran permainan dan pengiklanan. Ia adalah salah satu teknologi AI yang paling popular pada tahun 2024.

Difahamkan bahawa Pasukan Tencent Hunyuan Large Model dalam pasukan projek bersama ini sedang meneruskan penyelidikan dan meneroka teknologi pelbagai mod dan mempunyai keupayaan penjanaan video yang terkemuka dalam industri. Sebelum ini, Tencent Hunyuan Model, sebagai rakan kongsi teknikal, menyokong "People's Daily" dalam mencipta video asal "So Many Beautiful Rivers and Mountains", menghasilkan klip video indah sungai dan gunung China yang indah, menunjukkan pemahaman kandungan yang kukuh, penaakulan logik dan gambar Keupayaan penjanaan.

Pautan kertas: https://arxiv.org/abs/2403.08268

Github: https://follow-your-click.github.io/