En un clic, tout bouge ! Tencent Hunyuan s'associe à l'Université Tsinghua et à l'Université des sciences et technologies de Hong Kong pour lancer le modèle vidéo Tuxing « Follow Your Click »

Edité | Produit par Yanzheng

| 51CTO Technology Stack (WeChat ID : blog51cto)

Le 15 mars, Tencent Hunyuan, l'Université Tsinghua et l'Université des sciences et technologies de Hong Kong ont lancé conjointement un nouveau modèle vidéo Tusheng « Follow- Your- Click", basé sur l'image du modèle d'entrée, cliquez simplement sur la zone correspondante et ajoutez quelques mots d'invite pour faire bouger la zone initialement statique de l'image et la convertir en vidéo en un seul clic.

Dans le grand modèle vidéo Tushita actuel, la méthode de génération générale nécessite non seulement que l'utilisateur décrive la zone de mouvement dans le mot d'invite, mais doit également fournir une description détaillée des instructions de mouvement. , ce qui est un processus compliqué. De plus, du point de vue des effets générés, la technologie vidéo de génération d'images existante ne contrôle pas le déplacement de parties spécifiques de l'image. La vidéo générée doit souvent déplacer la scène entière, plutôt qu'une certaine zone de l'image, et il y a un manque. de précision et de flexibilité.

Afin de résoudre ces problèmes, l'équipe de projet conjointe de Tencent Hunyuan Model Team, de l'Université Tsinghua et de l'Université des sciences et technologies de Hong Kong a proposé un modèle de génération d'image en vidéo plus pratique et contrôlable, Follow-Your-Click. , pour apporter une interaction plus pratique, cela fait également du « un clic et tout bouge » sur l'image.

La technologie de génération d'image en vidéo a de larges perspectives dans les applications AIGC dans plusieurs secteurs tels que la production de contenu cinématographique, la réalité augmentée, la production de jeux et la publicité. en 2024.

Il est entendu que l'équipe Tencent Hunyuan Large Model de cette équipe de projet commune continue de rechercher et d'explorer la technologie multimodale et dispose de capacités de génération vidéo de pointe. Auparavant, Tencent Hunyuan Model, en tant que partenaire technique, avait soutenu le « Quotidien du Peuple » dans la création de la vidéo originale « So Many Beautiful Rivers and Mountains », générant de superbes clips vidéo des magnifiques rivières et montagnes de Chine, démontrant une solide compréhension du contenu, un raisonnement logique et images Capacité générative.

Lien papier : https://arxiv.org/abs/2403.08268

Github : https://follow-your-click.github.io/