David ist auferstanden! NVIDIA stellt „Neural Langelo' nach und rekonstruiert in 3D die Muskeltextur, die mit bloßem Auge sichtbar ist

Heute hat NVIDIA Michelangelos „Neuralangelo“ aus dem 16. Jahrhundert nachgebildet.

Sehen Sie, Neuralangelo hat eine 3D-Version der berühmten Davidstatue „reproduziert“, mit lebensechten Marmordetails und Texturen.

Sie müssen wissen, dass die an der Akademie der Schönen Künste in Florenz gesammelte Davidstatue nur 3,96 Meter hoch und einschließlich Sockel 5,5 Meter hoch ist.

Es kann sogar die innere und äußere Struktur eines Gebäudes rekonstruieren, wobei Dachziegel, Glasscheiben und verschiedene Details einzeln reproduziert werden.

All das ist die Magie von „Neuralangelo“.

Ein neues KI-Modell, vorgeschlagen von Forschern von NVIDIA und der Johns Hopkins University, nutzt neuronale Netze, um 3D-Objekte zu rekonstruieren.

Die neuesten Forschungsergebnisse wurden vom CVPR 2023 akzeptiert.

Papieradresse: https://research.nvidia.com/labs/dir/neuralangelo/paper.pdf

Insbesondere kann Neuralangelo Videos von Mobiltelefonen und Drohnen „hoch“ rekonstruieren -treue großformatige Szenen".

Ist das nicht die Zukunft, in der Sie Videos einer Stadt oder sogar des Weltraums ganz einfach in eine immersive Welt verwandeln und diese dann in Spiele einbinden können, um sie zu erleben?

Internetnutzer riefen aus, dass NVIDIA die „Matrix“-Welt gehackt hat!

Manche Leute sagen sogar, dass Apples XR-Technologie in Verbindung mit Neuralangelo „neue Welten“ erschaffen kann.

Effektdemonstration

Nvidia-Hauptquartier

Shabby Truck

Statue von Ignatius

3D-Szenen rekonstruieren

Frühere KI-Modelle hatten oft Schwierigkeiten, sich wiederholende Texturmuster, einheitliche Farben und starke Farbänderungen bei der Rekonstruktion von 3D-Szenen genau zu erfassen.

Zu diesem Zweck schlug das Team eine neue Methode vor, die die Darstellungsmöglichkeiten von 3D-Hash-Gittern mit mehreren Auflösungen mit neuronalem Oberflächenrendering kombiniert – Neuralangelo.

Letztes Jahr haben NVIDIA-Forscher ein neues Tool entwickelt, 3D MoMa, mit dem sich Fotos ganz einfach in 3D-Objekte umwandeln lassen.

NeuralAngelo baut auf diesem Konzept auf und ermöglicht den Import größerer, detaillierterer Räume und Objekte. Das Besondere daran ist, dass es sich wiederholende Texturmuster, homogene Farben und starke Farbveränderungen präzise erfassen kann.

Durch die Verwendung von „Echtzeit-Neurographie-Primitiven“, dem Kern der NVIDIA Instant NeRF-Technologie, kann Neuralangelo feinere Details erfassen.

Der Ansatz des Teams basiert auf zwei Schlüsselelementen:

(1) Numerische Gradienten zur Berechnung von Ableitungen höherer Ordnung als Glättungsoperationen;

(2) Hash-Netze zur Steuerung verschiedener Detailebenen zur Optimierung des Rasters von grob bis fein.

Selbst ohne zusätzliche Tiefe stellt Neuralangelo effektiv dichte 3D-Oberflächenstrukturen aus Multi-View-Bildern mit einer Genauigkeit wieder her, die frühere Methoden deutlich übertrifft, und ermöglicht so eine detaillierte, groß angelegte Szenenrekonstruktion aus RGB-Videoaufnahmen.

Aufbau von NeuralAngelo

Das NeuralAngelo-Modell basiert auf Hash-Codierung mit mehreren Auflösungen und SDF-basiertem Volumenrendering.

Schritt 1: Verwenden Sie numerische Gradienten, um Ableitungen höherer Ordnung zu berechnen.

Es ist möglich, über lokale Zellen hinaus zu optimieren, indem Sie numerische Gradienten mit Schritten verwenden, die der räumlichen Auflösung des Hash-Gitters entsprechen. Im Vergleich zum analytischen Gradienten spielt der numerische Gradient eine Glättungsoperation bei SDF. 🔜 große Flächen glatter Oberflächen und feiner geometrischer Details besser wiederherstellen. Durch diesen Lernprozess kann der Detaillierungsgrad schrittweise verbessert werden.

Schritt 3: Optimieren

NeuralAngelo verwendet drei Optimierungsziele:

RGB. Syntheseverlust : Eingabebild und RGB-Rekonstruktion Verlust zwischen zusammengesetzten Bildern.

Eikonaler Verlust

: Regularisiert die zugrunde liegende SDF, sodass ihre Oberflächennormale einheitsregulär ist.

Krümmungsverlust

: Regularisiert die zugrunde liegende SDF, sodass die durchschnittliche Krümmung nicht beliebig groß wird.

„Neurolangelo“ ist gebaut, also wie funktioniert es?

Man kann sagen, dass Neuralangelo Michelangelos Darstellung von David restauriert hat Der gesamte Prozess :

· Zunächst wählt das Modell mehrere Bilder von Objekten/Szenen aus, die aus verschiedenen Winkeln aus dem 2D-Video aufgenommen wurden, und „sieht“ sie so in Tiefe, Größe und Form. Der Prozess ähnelt dem, wie ein Bildhauer zunächst eine Komposition aus mehreren Blickwinkeln komponieren würde.

· Das Modell erstellt dann eine grobe 3D-Darstellung der Szene, gerade als der Künstler beginnt, die Form des Motivs zu meißeln.

· Abschließend wird das Modell für das Rendern optimiert, um die Klarheit der Details zu verbessern, so wie ein Künstler sorgfältig Verzierungen vornimmt, um die Textur eines Stoffes oder einer menschlichen Form zu imitieren.

In einem qualitativen Vergleich von DPU-Benchmarks erzeugt Neuralangelo genauere und realistischere Oberflächen.

Das Folgende sind die quantitativen Ergebnisse von Neuralangelo im DTU-Datensatz. Das Modell erzielte eine gute Rekonstruktionsgenauigkeit und Bildsynthese . Qualität.

In einem qualitativen Vergleich verschiedener Grob-zu-Fein-Optimierungsschemata unter Verwendung des analytischen Gradienten AG und AG+ P, es gibt Artefakte auf der rauen Oberfläche des Objekts.

Beim Einsatz von Digital Gradient (NG) kann eine bessere raue Oberfläche rekonstruiert und Details geglättet werden.

Und NVIDIAs Lösung (NG+P) ist in der Lage, glatte Oberflächen und feine Details zu erzeugen. Das Endergebnis ist ein Gerät, das in Virtual-Reality-Anwendungen, digitalen Zwillingen oder 3D-Objekten oder großformatigen Szenen in der Roboterentwicklung eingesetzt werden kann.

Nvidia sagte, dass Neuralangelos Fähigkeit, die Texturen komplexer Materialien, einschließlich der Rauheit von Dachziegeln und der Glätte von Marmor, aus 2D-Videos in 3D-Objekte umzuwandeln, von Bedeutung ist. Gehen Sie über bisherige Methoden hinaus.

Ming-Yu Liu, Senior Director von Nvidia Research und Autor des Papiers, äußerte sich zur Bedeutung dieser Forschung: #🎜🎜 #

„Die von Neuralangelo bereitgestellten 3D-Rekonstruktionsfunktionen werden für Entwickler ein großer Vorteil sein und ihnen helfen, die reale Welt in der digitalen Welt nachzubilden. Dieses Tool wird es Entwicklern letztendlich ermöglichen, detaillierte Objekte zu konvertieren – egal, ob sie klein sind.“ Statuen oder große Gebäude – Import in virtuelle Umgebungen wie Videospiele oder industrielle digitale Zwillinge können diese 3D-Objekte zur weiteren Bearbeitung in den Bereichen Kunst, Videospielentwicklung, Robotik und industrielle Digitales importieren Zwillinge 🎜🎜#

Zhaoshuo Li

# 🎜 🎜# Li Zhaoshuo ist derzeit Doktorand in Informatik an der Johns Hopkins University. Seine Betreuer sind Professor Mathias Unberath und Professor Russell H Taylor

.

Er hat ein starkes Interesse an Computer Vision, Computergrafik und Deep Learning. Sein Forschungsschwerpunkt liegt auf der Reproduktion von Bewegung und Struktur aus Bildern.

Darüber hinaus hat er auch viele Hobbys, darunter die Tätigkeit als Videofilmer, Förderer der psychischen Gesundheit, Hundeliebhaber, Surfer, Fallschirmspringer und Snowboarder. …

Chen-Hsuan Lin

# 🎜🎜#

Chen-Hsuan Lin ist wissenschaftlicher Mitarbeiter bei NVIDIA Research und arbeitet in den Bereichen Computer Vision, Computergrafik und künstliche Intelligenz.

Er promovierte in Robotik an der Carnegie Mellon University und erhielt ein NVIDIA Graduate Fellowship. Zuvor absolvierte er auch Praktika bei Facebook AI Research und Adobe Research.

Lin ist sehr daran interessiert, Probleme in der 3D-Rekonstruktion, Ansichtssynthese und 3D-Inhaltsproduktion zu lösen. Seine Forschung zielt darauf ab, künstlichen Intelligenzsystemen 3D-Wahrnehmungs- und Vorstellungsfähigkeiten auf menschlicher Ebene zu verleihen, indem sie aus visuellen Daten im Internetmaßstab lernen und so zu echter räumlicher 3D-Intelligenz gelangen.

Netizen heißer Kommentar

NVIDIA-Wissenschaftler Jim Fan sagte: Um Ihnen eine Vorstellung davon zu geben, wie schnell sich KI in der 3D-Modellierung entwickelt: Das Feld hat sich in drei Jahren von links (ursprüngliche rekonstruierte NeRF-Netze) nach rechts (Nvidias Neuralangelo) verändert.

Die Realität in High-Fidelity-Simulationen zu transportieren, ist kein Traum mehr.

Das neue Neuralangelo-Modell ist ein Biest und NVIDIA hat beschlossen, uns auszuschalten , R.I.P.-Photogrammetrie-Software.

ist wie der „Michelangelo“ der digitalen Welt.

Einige Internetnutzer wollten auch wissen, wie viel die Nutzung kostet?

Wir können Drohnen in der Fabrik einsetzen und dann das Video an dieses Modell senden, einen digitalen Zwilling erstellen und ihn zur Optimierung unseres Prozesses verwenden.

In Bezug auf die Bedeutung dieser Technologie glauben die Internetnutzer, dass sie Großes bringen wird Vorteile für die Spielebranche Die Auswirkungen wären enorm.

Das obige ist der detaillierte Inhalt vonDavid ist auferstanden! NVIDIA stellt „Neural Langelo' nach und rekonstruiert in 3D die Muskeltextur, die mit bloßem Auge sichtbar ist. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!