Générez du contenu en quatre dimensions en quelques minutes et contrôlez les effets de mouvement : l'Université de Pékin et le Michigan proposent DG4D

Introduction à la méthode

Différent des méthodes qui optimisent directement 4D NeRF, DG4D construit une représentation efficace et puissante pour la génération de contenu 4D en combinant la technologie d'éclaboussure gaussienne statique et la modélisation de transformation spatiale explicite. De plus, les méthodes de génération vidéo ont le potentiel de fournir des a priori spatio-temporels précieux qui améliorent la génération 4D de haute qualité. Plus précisément, nous proposons un cadre global composé de deux étapes principales : 1) la génération d'images vers 4D GS ; 2) le raffinement de cartes de texture basées sur un grand modèle vidéo. D1. La génération de l'image en 4D GS

Dans cette étape, nous utilisons la 3D GS statique et sa déformation spatiale pour indiquer la dynamique dynamique quatre- scène dimensionnelle. Sur la base d'une image 2D donnée, nous générons des GS 3D statiques en utilisant la méthode améliorée DreamGaussianHD. Par la suite, en optimisant le champ de déformation dépendant du temps sur la fonction GS 3D statique, la déformation gaussienne à chaque horodatage est estimée, dans le but de rendre la forme et la texture de chaque image déformée cohérente avec l'image correspondante dans la vidéo de conduite. A la fin de cette étape, une séquence dynamique de modèle de maillage tridimensionnel sera générée.

Sur la base de la récente méthode graphique d'objet 3D DreamGaussian [7] utilisant 3D GS, nous avons apporté d'autres améliorations et compilé un ensemble de meilleures Méthodes de génération et d'initialisation de GS 3D. Les principales opérations améliorées incluent 1) l'adoption d'une méthode d'optimisation multi-vues ; 2) le réglage de l'arrière-plan de l'image rendue pendant le processus d'optimisation sur un arrière-plan noir plus adapté à la génération. Nous appelons la version améliorée DreamGaussianHD, et les rendus d'amélioration spécifiques sont visibles dans la figure 4. Figure 5 HexPlane représente le champ de déformation dynamique Sur la base du modèle GS 3D statique généré, nous générons des vidéos qui répondent aux attentes en prédisant la déformation du noyau gaussien dans chaque image du modèle GS 4D dynamique. En termes de caractérisation des effets dynamiques, nous choisissons HexPlane (illustré à la figure 5) pour prédire le déplacement, la rotation et l'échelle du noyau gaussien à chaque horodatage, pilotant ainsi la génération d'un modèle dynamique pour chaque image. En outre, nous avons également ajusté le réseau de conception de manière ciblée, en particulier la conception de connexion résiduelle et d'initialisation nulle pour les dernières couches du réseau d'opérations linéaires, afin que le champ dynamique puisse être initialisé en douceur et entièrement sur la base du modèle GS 3D statique ( l'effet est comme indiqué sur la figure) montrée en 6).始 Figure 6 L'impact de l'initialisation de la formation dynamique sur la génération finale du champ dynamique

2. Optimisation de l'eau de vidéo en vidéo

Figure 7 Optimisation de la texture vidéo en vidéo Diagramme de trame

Semblable à DreamGaussian, après la première étape de génération de modèle dynamique à quatre dimensions basée sur 4D GS, la séquence de modèle de maillage à quatre dimensions peut être extraite. De plus, nous pouvons également optimiser davantage la texture dans l'espace UV du modèle de maillage, similaire à ce que fait DreamGaussian. Contrairement à DreamGaussian, qui utilise uniquement des modèles de génération d'images pour optimiser les textures des modèles de maillage 3D individuels, nous devons optimiser l'intégralité de la séquence de maillage 3D.

De plus, nous avons constaté que si nous suivons l'approche de DreamGaussian, c'est-à-dire effectuons une optimisation de texture indépendante pour chaque séquence de maillage 3D, la texture du maillage 3D sera générée de manière incohérente à différents horodatages, et il y aura souvent un scintillement, etc. . Des artefacts défectueux apparaissent. Compte tenu de cela, nous nous différencions de DreamGaussian et proposons une méthode d’optimisation de texture vidéo à vidéo dans l’espace UV basée sur un grand modèle de génération vidéo. Plus précisément, nous avons généré de manière aléatoire une série de trajectoires de caméra au cours du processus d'optimisation, rendu plusieurs vidéos sur cette base et effectué l'ajout et le débruitage correspondants sur les vidéos rendues pour obtenir la génération de séquences d'amélioration de la texture du modèle de maillage.

La comparaison des effets d'optimisation de texture liés à la génération d'un grand modèle basé sur des images et à la génération d'un grand modèle basé sur des vidéos est présentée dans la figure 8.

Résultats expérimentaux

Par rapport à la méthode précédente d'optimisation globale de 4D NeRF, DG4D a considérablement réduit le temps nécessaire pour générer du contenu en quatre dimensions. La comparaison temporelle spécifique peut être vue dans le tableau 1.

                                                                                                                                                                                                                                                                       ^{Rapport de cohérence dans le tableau 2.}

Pour le paramètre de génération de contenu en quatre dimensions basé sur la vidéo, la comparaison des résultats numériques de la méthode de génération de contenu en quatre dimensions à partir de la vidéo peut être vue dans le tableau 3.生 Tableau 3 Sur la base des résultats numériques du contenu quadridimensionnel généré par la vidéo, résultats de comparaison De plus, nous échantillonnons également les échantillons d'utilisateurs de chaque méthode de l'image unique qui correspond le plus à notre test, les résultats des tests sont rapportés dans le tableau 4.生 Tableau 4 Test utilisateur basé sur le contenu quadridimensionnel généré par une seule image

DG4D et le graphe SOTA open source existant génère l'effet de la méthode de contenu quadridimensionnel et de la vidéo générant des méthodes de contenu quadridimensionnel, qui sont affichés respectivement sur la figure 9 et sur la figure 10 .内容 Figure 9 Figure 9 Figure Comparaison des effets de contenu en 4 dimensions Figure 10 Comparaison des effets de contenu en quatre dimensions de Video Sheng Figure

Darüber hinaus haben wir auch statische 3D-Inhalte basierend auf der aktuellen direkten Feedforward-Methode zur Generierung von 3D-GS aus einem einzelnen Bild generiert (d. h. ohne Verwendung der SDS-Optimierungsmethode) und die Generierung dynamischer 4D-GS auf dieser Grundlage initialisiert. Durch die direkte Feedforward-Generierung von 3D-GS können qualitativ hochwertigere und vielfältigere 3D-Inhalte schneller erzeugt werden als auf SDS-Optimierung basierende Methoden. Der daraus resultierende vierdimensionale Inhalt ist in Abbildung 11 dargestellt.生 Abbildung 11 Der vierdimensionale dynamische Inhalt, der basierend auf der Methode zur Generierung von 3D-GS generiert wurde

Basierend auf 4D GS schlagen wir DreamGaussian4D (DG4D) vor, ein effizientes Framework zur Bild-zu-4D-Generierung. Im Vergleich zu bestehenden vierdimensionalen Content-Generierungs-Frameworks reduziert DG4D die Optimierungszeit erheblich von Stunden auf Minuten. Darüber hinaus demonstrieren wir die Verwendung generierter Videos zur angetriebenen Bewegungsgenerierung, wodurch eine visuell kontrollierbare 3D-Bewegungsgenerierung erreicht wird.

Referenzen

^{[1] Tagungsband der 40. Internationalen Konferenz über maschinelles Lernen.}

2] Cao et al. „Hexplane: Eine schnelle Darstellung für dynamische Szenen.“

[3] Jiang et al 360° dynamische Objektgenerierung aus monokularem Video.“ Die zwölfte internationale Konferenz zum Thema Lernen von Repräsentationen. 2023 (2023).

[5] „DreamFusion: Text-to-3D using 2D Diffusion.“ Die elfte internationale Konferenz über Lerndarstellungen , Sherwin, et al. „4d-fy: Text-to-4d-Generierung mit Hybrid-Score-Destillation“ arXiv:2311.17984 (2023).

[7] Tang et al Gaußsches Splatting für die effiziente Erstellung von 3D-Inhalten.“ Die zwölfte internationale Konferenz zum Thema Lernen von Repräsentationen. 2023.