Ganz gleich, ob es sich um echtes oder KI-Video handelt, „Mosca' kann dynamisch renderbare 4D-Szenen rekonstruieren und wiederherstellen.

Die AIxiv-Kolumne ist eine Kolumne, in der diese Website akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. E-Mail für die Einreichung: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Lei Jiahui, Doktorand am Fachbereich Informatik der University of Pennsylvania (2020 – heute), sein Betreuer ist Professor Kostas Daniilidis, sein derzeitiger Hauptleiter Forschungsrichtung sind vierdimensionale dynamische Szenen, geometrische Modellierungsdarstellungen und Algorithmen mit Anwendungen. Er hat 7 Artikel als Erst- oder Co-Autor auf führenden Konferenzen zu Computer Vision und maschinellem Lernen (CVPR, NeurIPS, ICML, ECCV) veröffentlicht. Seinen vorherigen Bachelor-Abschluss (2016-2020) schloss er an der Kontrollabteilung der Zhejiang-Universität und der gemischten Klasse des Zhu Kezhen College mit dem ersten Platz in seinem Hauptfach ab.

Die Rekonstruktion renderbarer dynamischer Szenen aus beliebigen monokularen Videos ist ein heiliger Gral in der Computer-Vision-Forschung. In diesem Artikel versucht ein Forscherteam der University of Pennsylvania und der Stanford University, diesem Ziel einen kleinen Schritt näher zu kommen.

Es gibt riesige monokulare Videos im Internet, die eine große Menge an Informationen über die physische Welt enthalten. Allerdings mangelt es der 3D-Vision noch an wirksamen Mitteln, um 3D-dynamische Informationen aus diesen Videos zu extrahieren, um die zukünftige Modellierung großer 3D-Modelle und das Verständnis der Dynamik zu unterstützen physikalische Welt. Dieses inverse Problem ist zwar wichtig, aber äußerst anspruchsvoll.

• Erstens fehlen bei real aufgenommenen 2D-Videos häufig Multi-View-Informationen, sodass Multi-View-Geometrie nicht für die 3D-Rekonstruktion verwendet werden kann. In vielen Fällen ist es sogar unmöglich, die Kameraposition und interne Parameter mit vorhandener Software zu ermitteln. wie COLMAP).

• Zweitens ist der Freiheitsgrad dynamischer Szenen extrem hoch, und die vierdimensionale Darstellung ihrer Verformung und Langzeitinformationsfusion ist noch unausgereift, was dieses schwierige inverse Problem komplizierter macht.

Dieser Artikel schlägt ein neuartiges neuronales Informationsverarbeitungssystem vor – MoSca, das nur eine Reihe von Videorahmenbildern ohne zusätzliche Informationen bereitstellen muss und aus SORA Videos, Film- und Fernsehserienclips generieren und renderfähige Dynamik rekonstruieren kann Szenen aus monokularen Freilandvideos von , Internetvideos und öffentlichen Datensätzen.

• ArXiv-Adresse: https://arxiv.org/pdf/2405.17421
• Code (wird in naher Zukunft Open Source sein): www.github.com/JiahuiLei/MoSca
• Projektwebsite: www.cis.upenn.edu/~leijh/projects/mosca/
• Video (bilibili): www.bilibili.com/video/BV1uU411o75P/?vd_source=177d8c87be5e898a43e8937dbef9bed4

Das Folgende sind zwei Videodemos.

Methodenübersicht

Um die oben genannten Schwierigkeiten zu überwinden, nutzte Mosca zunächst das starke Vorwissen, das in Computer-Vision-Grundlagenmodellen gespeichert ist, um den Problemlösungsraum zu reduzieren.

Insbesondere verwendet Mosca das monokulare metrische Tiefenschätzungsmodell UniDepth, das Video-Any-Point-Long-Term-Tracking-Modell (jeden Punkt verfolgen) CoTracker und die optische Flussschätzung (optischer Fluss). Der epipolare geometrische Fehler (Epipolarfehler) berechnet vom Modell RAFT und den semantischen Merkmalen, die vom vorab trainierten semantischen Modell DINO-v2 bereitgestellt werden. Einzelheiten finden Sie in Kapitel 3.1 des Artikels. Wir stellen fest, dass die meisten dynamischen Verformungen in der realen Welt kompakter und spärlicher Natur sind und ihre Komplexität oft viel geringer ist als die realer geometrischer Strukturen. Beispielsweise kann die Bewegung eines harten Objekts durch Rotation und Translation dargestellt werden, und die Bewegung einer Person kann durch die Rotation und Translation mehrerer Gelenke grob angenähert werden.

Basierend auf dieser Beobachtung schlägt dieser Artikel eine

, die die obige Grundmodellausgabe von zwei Dimensionen auf vier Dimensionen erweitert und zusammenführt und gleichzeitig die physikalisch inspirierte Deformationsregulierung (ARAP) integriert. .

Das vierdimensionale Bewegungsgerüst ist ein Diagramm. Jeder Knoten des Diagramms ist eine Folge von Bewegungstrajektorien des starren Körpers (SE (3)). Die Topologie des Diagramms ist die Kante des nächsten Nachbarn, die unter Berücksichtigung des Abstands zwischen den starren Körpern erstellt wird Bewegungsbahnkurven global. Verformungen an jedem Punkt im Raum können durch Glätten der Starrkörper-Trajektorien von Knoten auf dem interpolierten Graphen in der Raum-Zeit mithilfe von Dual-Quaternionen dargestellt werden. Diese Darstellung vereinfacht die zu lösenden Bewegungsparameter erheblich. (Einzelheiten finden Sie in Kapitel 3.2 des Dokuments).

Das obige ist der detaillierte Inhalt vonGanz gleich, ob es sich um echtes oder KI-Video handelt, „Mosca' kann dynamisch renderbare 4D-Szenen rekonstruieren und wiederherstellen.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!