Ein in Tsinghua ansässiges Start-up-Unternehmen hat das weltweit erste 4D-Skelett-Animations-Framework veröffentlicht, das reale Szenen mit einem Klick in Animationen umwandeln und personalisierte Charaktere generieren kann.

Apple hat kürzlich angekündigt, dass es am 2. Februar sein erstes virtuelles Head-Mounted-Display-Gerät, Vision Pro, auf den Markt bringen wird. Dieses XR-Gerät soll die rasante Entwicklung der nächsten Generation von Terminals vorantreiben. Mit der Popularisierung virtueller Anzeigegeräte wird sich die digitale Interaktion von der Zweidimensionalen zur Dreidimensionalität verlagern, und dreidimensionale Modelle und dreidimensionale Animationen werden in Zukunft zu den gängigen Inhaltsformen werden. Auch die mehrdimensionale immersive Interaktion wird im Zuge des Trends der virtuellen und realen Integration zum Trend.

Allerdings wird die aktuelle Datenansammlung in der Content-Branche im Hinblick auf den Datenumfang immer noch von 2D-Bildern und flachen Videos dominiert, während die Datengrundlage aus 3D-Modellen, 4D-Animationen und anderen Daten relativ schwach ist. Unter anderem führt die 4D-Animation Zeitsequenzen auf der Grundlage traditioneller 3D-Modelle ein, d Andere Bereiche, aber es ist derzeit auch der schwierigste Link in der inhaltlichen ökologischen Entwicklung.

Daher wird für das bevorstehende mehrdimensionale immersive Erlebnis die Erstellung dreidimensionaler digitaler Inhalte zu einer wichtigen Grundlagenarbeit.

Auf diesem hochmodernen Gebiet hat das Unternehmerteam Shengshu Technology der Tsinghua-Universität eine Reihe von Forschungs- und Produktentwicklungen durchgeführt und kürzlich in Zusammenarbeit mit Tsinghua das weltweit erste 4D-Animationsgenerierungs-Framework „AnimatableDreamer“ auf Basis von „Skelettanimation“ auf den Markt gebracht Universität, Tongji-Universität und andere Universitäten , es kann 2D-Videomaterialien mit einem Klick direkt in dynamische dreidimensionale Modelle (d. h. 4D-Animation) konvertieren, unterstützt die automatische Extraktion von Skelettbewegungen, die Konvertierung von Animationseffekten mit einem Klick und personalisierte Charaktere Generierung durch Texteingabe.

• Papieradresse: https://arxiv.org/pdf/2312.03795.pdf

• Projektadresse: https://animatabledreamer.github.io/

• Papiertitel: AnimatableDreamer: Text -Geführte, nicht starre 3D-Modellgenerierung und -Rekonstruktion mit kanonischer Score-Destillation

Sie können sich das folgende Demo-Video ansehen.

Neue Methode zur Inhaltsproduktion

Subversion des dreidimensionalen Animationsentwicklungsprozesses

In der Vergangenheit erforderte die Produktion dreidimensionaler Animationen in der Branche komplexe Prozesse wie 3D-Modellierung und Textur-Rendering , Knochenbindung, Animationsproduktion usw. Modellierung war erforderlich. Sie kann nur unter Beteiligung von Fachleuten wie Designern und Animatoren durchgeführt werden, was eine geringe Effizienz und hohe Kosten verursacht. Laut Statistik dauert der Produktionszyklus eines einzelnen statischen 3D-Modells Stunden bis Tage, und die Kosten können bis zu Tausende von Dollar betragen. Die Kosten für die dynamische Verarbeitung werden sogar noch höher sein.

Wie Sie dem offiziellen Demovideo entnehmen können, laden Sie ein 2D-Video aus dem echten Leben eines Eichhörnchens hoch und geben Sie die Textbeschreibung „Ein Eichhörnchen mit rotem Pullover“ ein, um das ursprüngliche Eichhörnchen aus dem echten Leben mit einem solchen in einen animierten Stil umzuwandeln Klicken Sie und behalten Sie die Aktionshaltungen perfekt bei. Durch die Synchronisierung können Sie auch die Textbeschreibungen ändern und das Eichhörnchen auf verschiedene Cartoon-Bilder umstellen .

„AnimatableDreamer“ kann automatisch die Skelettbewegungen von Zielobjekten (Menschen, Tiere usw.) im Video extrahieren und das Objekt dann durch Textbeschreibung in ein beliebiges Skelettanimationsmodell umwandeln. Der gesamte Prozess ist nicht durch Vorlagen eingeschränkt, unterstützt jede Videolänge und jede Art von Aktion, weist ein hohes Maß an zeitlicher Konsistenz und Mehrfachansichtskonsistenz auf und das exportierte dynamische dreidimensionale Modell kann in jeder 3D-Umgebung gerendert werden.

Für die Postproduktion in Film, Fernsehen, Animation und anderen Bereichen ist normalerweise mehr Bearbeitung für Animationen erforderlich. „AnimatableDreamer“ unterstützt auch das Ersetzen oder Bearbeiten von Animationsdateien für Modelle, die die Knochenbindung abgeschlossen haben, wodurch ein höherer Freiheitsgrad erreicht wird . Wenn verwandte Technologien in Zukunft schrittweise implementiert werden, wird erwartet, dass die 3D-Modellierungs- und Animationsproduktionsprozesse für die Spieleentwicklung, Film- und Fernsehanimationen und andere Szenen effizienter werden.

Mit Blick auf die Zukunft

wird voraussichtlich ein neues Content-Ökosystem entstehen

In Bezug auf die Implementierungsprinzipien schlug das Forschungsteam auf innovative Weise die

Canonical Score Distillation (CSD) vor, die im Laufe der Zeit 3D-Modelle verschiedener Modelle verändert Frames und verschiedene Perspektiven werden im Kameraraum gerendert und entrauscht, und die Farbverläufe werden zur Destillation gleichmäßig zurück in den Standardraum übertragen, der von verschiedenen Kameraräumen gemeinsam genutzt wird, wodurch die Dimensionalität der 4D-Generierung auf 3D reduziert wird, d. h. das 4D-Generierungsproblem wird vereinfacht Erzeugung im 3D-Raum.

„AnimatableDreamer“ kann Gelenkbewegungen direkt aus dem Video extrahieren. Durch die Entkopplung von Modell und Bewegung des Objekts weist das generierte Modell ein hohes Maß an zeitlicher Konsistenz und geometrischer Rationalität auf und ist nicht durch die Länge des Videos begrenzt Beseitigen Sie effektiv Formen wie Probleme wie Brüche, Flackern und Inkonsistenzen bei mehreren Ansichten.

In Szenen mit begrenzten Betrachtungswinkeln und großen Bewegungen kann „AnimatableDreamer“ aufgrund der Einführung von Vorkenntnissen des Diffusionsmodells die Bildinformationen automatisch vervollständigen und eine bessere Generierungsqualität erzielen, auch wenn das Eingabevideo nicht das gesamte Objekt abdeckt.

Man kann sagen, dass der Vorschlag von „AnimatableDreamer“ Text direkt mit der Generierung von 4D-Skelettanimationen, Modellierung, Texturierung, Knochenbindung und Aktionssteuerung in einem Arbeitsgang verbindet! Geben Sie eine Beschreibung in natürlicher Sprache ein und geben Sie automatisch ein dreidimensionales Animationsvideo aus. Es sind keine Fachkenntnisse erforderlich. Der Einstieg und die einfache Anpassung von Animationsinhalten sind nicht erforderlich.

Die auf „AnimatableDreamer“ basierende Arbeit wird die Schwierigkeit bei der Erstellung digitaler 3D- und 4D-Inhalte erheblich verringern, das interaktive Erlebnis bereichern, es jedem ermöglichen, kreative Inhalte zu erstellen und zu bearbeiten, und brandneue Inhalte im 3D-Zeitalter hervorbringen. Unterhaltung und Inhalte Konsumverhalten.

Stellen Sie sich vor, dass Benutzer in der virtuellen Welt der Zukunft schnell individuelle digitale Räume erstellen und personalisierte interaktive Erlebnisse schaffen können. Zum Beispiel:

• Jedes Charakterbild im digitalen Raum kann nach Belieben generiert werden, z. B. das Einkleiden von Kindern in Superman-Kleidung, der Wechsel zu Kostümen mit Feiertagsmotiven für Halloween usw.;

• Benutzer, die Haustiere haben, können dies tun Versetzen Sie ihre Haustiere in die Cartoonisierung, indem Sie beispielsweise ein virtuelles Mickey-Mouse-Bild erstellen. Das tägliche Leben von Haustieren ähnelt Zeichentrickfilmen, und die tägliche Interaktion zwischen Besitzern und Haustieren wird interessanter.

• Auch die Möglichkeiten der Interaktion zwischen Menschen sind reicher geworden. Sie können jederzeit und überall eine Themenparty veranstalten und Ihre Wünsche erfüllen Echtzeit-Partyumgebung, Charakterdekoration usw.

Als vor weniger als einem Jahr gegründetes Start-up-Unternehmen engagiert sich das Team von Shengshu Technology seit langem in den Bereichen multimodale Großmodelle wie Bilder, 3D und Video. Im September veröffentlichte es das 3D Das Asset-Erstellungstool VoxCraft, das offiziell auf Discord eingeführt wurde, unterstützt Text- und Bildführung, die Erstellung von 3D-Modellen auf Minutenebene, das benutzerdefinierte Ersetzen von 3D-Texturen und andere Funktionen und ermöglicht so den 3D-Modellierungsprozess für die Spieleentwicklung, Film- und Fernsehanimationen andere Szenen. Die dieses Mal eingeführte 4D-Skelettanimationsgeneration ist eine weitere neue Erkundungsarbeit von Shengshu Technology, die in Zukunft in VoxCraft-Produkte integriert wird.

VoxCraft-Tool-Adresse: https://voxcraft.ai/

Die Einführung von Apple Vision Pro ist nicht nur eine wichtige Innovation auf Hardware-Geräteebene, sondern auch der Beginn einer Revolution in Inhalt und Erlebnis. Die innovativen Fähigkeiten generativer KI wie die Generierung von 4D-Animationen werden nicht nur zu einer besseren visuellen Darstellung führen, sondern auch mehrdimensionale digitale Erlebnisse auf neue Weise eröffnen und der nächsten Generation der Mensch-Computer-Interaktion mehr Möglichkeiten bieten.

Das obige ist der detaillierte Inhalt vonEin in Tsinghua ansässiges Start-up-Unternehmen hat das weltweit erste 4D-Skelett-Animations-Framework veröffentlicht, das reale Szenen mit einem Klick in Animationen umwandeln und personalisierte Charaktere generieren kann.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!