Bearbeitet |. Produziert von Yanzheng

|. 51CTO Technology Stack (WeChat ID: blog51cto)

Am 15. März starteten Tencent Hunyuan, die Tsinghua University und die Hong Kong University of Science and Technology gemeinsam ein neues Tusheng-Videomodell „Follow- Your-Click“, basierend auf dem Bild des Eingabemodells, klicken Sie einfach auf den entsprechenden Bereich und fügen Sie ein paar Eingabeaufforderungswörter hinzu, um den ursprünglich statischen Bereich im Bild zu verschieben und ihn mit einem Klick in ein Video umzuwandeln.

Im aktuellen großen Tushita-Videomodell erfordert die allgemeine Generierungsmethode nicht nur, dass der Benutzer den Bewegungsbereich im Eingabeaufforderungswort beschreibt, sondern auch eine detaillierte Beschreibung der Bewegungsanweisungen , was ein komplizierter Prozess ist. Darüber hinaus mangelt es der vorhandenen Bilderzeugungsvideotechnologie an der Kontrolle über das Verschieben bestimmter Bildteile. Das erzeugte Video muss häufig die gesamte Szene und nicht nur einen bestimmten Bereich auf dem Bild verschieben und Flexibilität. Was fehlt.

Um diese Probleme zu lösen, schlug das gemeinsame Projektteam des Tencent Hunyuan Model Team, der Tsinghua University und der Hong Kong University of Science and Technology ein praktischeres und kontrollierbareres Bild-zu-Video-Generierungsmodell vor: Follow-Your-Click , um eine bequemere Interaktion zu ermöglichen, sodass „ein Klick und alles bewegt sich“ auf dem Bild.

Die Technologie der Bild-zu-Video-Generierung hat breite Perspektiven für AIGC-Anwendungen in verschiedenen Branchen wie der Produktion von Filminhalten, Augmented Reality, Spieleproduktion und Werbung. Sie ist eine der heißesten KI-Technologien im Jahr 2024.

Es wird davon ausgegangen, dass das Tencent Hunyuan Large Model Team in diesem gemeinsamen Projektteam weiterhin multimodale Technologie erforscht und erforscht und über branchenführende Fähigkeiten zur Videogenerierung verfügt. Zuvor unterstützte Tencent Hunyuan Model als technischer Partner die „People's Daily“ bei der Erstellung des Originalvideos „So Many Beautiful Rivers and Mountains“, bei dem exquisite Videoclips von Chinas wunderschönen Flüssen und Bergen erstellt wurden, die ein ausgeprägtes inhaltliches Verständnis, logisches Denken usw. demonstrierten Bilder Generative Fähigkeit.

Papierlink: https://arxiv.org/abs/2403.08268

Github: https://follow-your-click.github.io/