Die herumfliegenden Gesichtszüge, das Öffnen des Mundes, das Starren und das Hochziehen der Augenbrauen können von der KI perfekt nachgeahmt werden, sodass Videobetrug nicht verhindert werden kann

So eine mächtige Fähigkeit zur KI-Nachahmung, es ist wirklich unmöglich, sich davor zu schützen, es ist völlig unmöglich, sich davor zu schützen. Hat die Entwicklung der KI mittlerweile dieses Niveau erreicht?

Sie bewegen Ihren Vorderfuß, um Ihre Gesichtszüge fliegen zu lassen, und der exakt gleiche Ausdruck wird auf Ihrem Hinterfuß reproduziert. Starren, Augenbrauen hochziehen, Schmollen, egal wie übertrieben der Ausdruck ist, alles wird perfekt nachgeahmt.

Erhöhen Sie den Schwierigkeitsgrad, heben Sie die Augenbrauen höher, öffnen Sie die Augen weiter, sogar die Mundform ist schief und der virtuelle Charakter-Avatar kann den Ausdruck perfekt reproduzieren.

Wenn Sie die Parameter auf der linken Seite anpassen, ändert auch der virtuelle Avatar auf der rechten Seite seine Bewegungen entsprechend.

Eine Nahaufnahme von Mund und Augen kann nicht sein sagen, dass sie genau gleich sind, es kann nur sein, dass die Ausdrücke genau gleich sind (ganz rechts).

Diese Forschung stammt von Institutionen wie der Technischen Universität München, die GaussianAvatars vorgeschlagen haben, eine Methode, mit der realistische Kopf-Avatare erstellt werden können, die hinsichtlich Ausdruck, Haltung und Standpunkt (Blickwinkel) vollständig kontrollierbar sind. .

• Papieradresse: https://arxiv.org/pdf/2312.02069.pdf
• Papierhomepage: https://shenhanqian.github.io/gaussian-avatars

In den Bereichen Computer Vision und Grafik war die Schaffung eines virtuellen Kopfes, der einen Menschen dynamisch darstellen kann, schon immer ein herausforderndes Problem. Insbesondere im Hinblick auf die Darstellung extremer Gesichtsausdrücke und Details ist es ziemlich schwierig, Details wie Falten und Haare zu erfassen, und die generierten virtuellen Charaktere leiden oft unter visuellen Artefakten

In der vergangenen Zeit war das neuronale Strahlungsfeld ( NeRF) ) und seine Varianten haben beeindruckende Ergebnisse bei der Rekonstruktion statischer Szenen aus Beobachtungen mit mehreren Ansichten erzielt. Nachfolgende Forschungen erweiterten diese Methoden und ermöglichten die Verwendung von NeRF für die dynamische Szenenmodellierung von auf den Menschen zugeschnittenen Szenarien. Ein Nachteil dieser Methoden ist jedoch die mangelnde Steuerbarkeit und damit die Unfähigkeit, sich gut an neue Posen und Ausdrücke anzupassen

Die kürzlich entwickelte Methode „3D Gaussian Spray“ erreicht eine höhere Rendering-Qualität als NeRF und kann in Echtzeit verwendet werden Zusammensetzung anzeigen. Diese Methode unterstützt jedoch keine Animation der rekonstruierten Ausgabe

In diesem Artikel wird GaussianAvatars vorgeschlagen, eine dynamische 3D-Kopfdarstellungsmethode, die auf dreidimensionalen Gaußschen Splats basiert.

Konkret haben sie bei einem FLAME-Netz (Modellierung des gesamten Kopfes) eine 3D-Gaußsche Funktion in der Mitte jedes Dreiecks initialisiert. Wenn ein FLAME-Netz animiert wird, wird jedes Gaußsche Modell basierend auf seinem übergeordneten Dreieck verschoben, gedreht und skaliert. Der 3D-Gauß-Effekt erzeugt dann ein Strahlungsfeld auf dem Netz und gleicht Bereiche aus, in denen das Netz nicht genau ausgerichtet ist oder bestimmte visuelle Elemente nicht reproduziert.

Um ein hohes Maß an Realismus der virtuellen Charaktere aufrechtzuerhalten, wird in diesem Artikel eine verbindliche Vererbungsstrategie angewendet. Gleichzeitig untersucht dieser Artikel auch, wie ein Gleichgewicht zwischen der Wahrung von Realismus und Stabilität gefunden werden kann, um neuartige Ausdrücke und Körperhaltungen virtueller Charaktere zu animieren. Die Forschungsergebnisse zeigen, dass GaussianAvatars im Vergleich zu bestehenden Forschungsergebnissen beim Rendern neuartiger Ansichten und bei der Steuerung der Videowiedergabe eine gute Leistung erbringt Multi-View-Videoaufnahme eines menschlichen Kopfes. Für jeden Zeitschritt verwendet GaussianAvatars einen photometrischen Headtracker, um FLAME-Parameter mit Multi-View-Beobachtungen und bekannten Kameraparametern abzugleichen.

FLAME-Netze haben unterschiedliche Scheitelpunktpositionen, aber die gleiche Topologie, sodass das Team konsistente Verbindungen zwischen Netzdreiecken und 3D-Gaußschen Flächen erstellen kann. Rendern Sie Splat mit einem differenzierbaren Kachelraster in ein Bild. Dann werden mit echter Bildüberwachung realistische menschliche Kopf-Avatare erlernt

Für eine optimale Qualität müssen statische Szenen durch Gaußsche Splats durch eine Reihe adaptiver Dichtekontrolloperationen komprimiert und beschnitten werden. Um dies zu erreichen, hat das Forschungsteam eine verbindliche Vererbungsstrategie entwickelt, die neue Gaußsche Punkte an das FLAME-Netz gebunden hält, ohne die Verbindung zwischen dem Dreieck und dem Splat zu zerstören Bewertung der Rekonstruktionsqualität und Bewertung der Animationstreue durch Selbstwiederholung. Abbildung 3 unten zeigt die Ergebnisse eines qualitativen Vergleichs zwischen verschiedenen Methoden. Im Hinblick auf die Synthese neuer Perspektiven sind alle Methoden in der Lage, vernünftige Rendering-Ergebnisse zu erzielen. Bei näherer Betrachtung der Ergebnisse von PointAvatar ist jedoch zu erkennen, dass aufgrund der festen Punktgröße Punktartefakte auftreten. Gaußsche Avatare, die die 3D-Gaußsche anisotrope Skalierungstechnologie verwenden, können dieses Problem lindern

Wir können ähnliche Schlussfolgerungen aus dem quantitativen Vergleich in Tabelle 1 ziehen. Im Vergleich zu anderen Methoden schneidet GaussianAvatars gut bei der Synthese neuer Ansichten ab, ist auch hervorragend bei der Selbstnachstellung und hat die Wahrnehmungsunterschiede bei LPIPS deutlich reduziert. Es ist zu beachten, dass die Selbstnachstellung auf der FLAME-Rasterverfolgung basiert und möglicherweise nicht vollständig mit dem Zielbild übereinstimmt Identitätsreproduktion. Die Ergebnisse zeigten, dass der Avatar die Blinzel- und Mundbewegungen des Quellschauspielers genau reproduzierte und lebendige und komplexe Dynamiken wie Falten usw. darstellte In der Studie wurden auch Ablationsexperimente durchgeführt. Die Ergebnisse sind unten aufgeführt.

Das obige ist der detaillierte Inhalt vonDie herumfliegenden Gesichtszüge, das Öffnen des Mundes, das Starren und das Hochziehen der Augenbrauen können von der KI perfekt nachgeahmt werden, sodass Videobetrug nicht verhindert werden kann. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!