NVIDIA annonce le modèle Neuralangelo AI capable de convertir le contenu vidéo en modèles 3D de haute précision

IT House News le 2 juin, Nvidia a annoncé cette semaine le lancement d'un modèle d'IA appelé Neuralangelo, capable de convertir des clips vidéo en modèles 3D avec des niveaux de détails et de textures riches.

▲ Source de l'image NVIDIA

IT House s'est renseigné et a appris qu'il existe plusieurs IA qui génèrent des modèles 3D basés sur du contenu vidéo, mais que ces IA sont souvent incapables de démarrer lorsqu'elles sont confrontées à des vidéos à faible contraste. Le modèle Neuralangelo de Nvidia utilise des primitives graphiques neuronales instantanées et utilise sa propre technologie Instant NeRF, de sorte que même les vidéos à faible contraste peuvent capturer des détails subtils et les convertir en un modèle 3D de valeur plus commerciale.

▲ Source de l'image NVIDIA

NVIDIA souligne que le caractère unique de Neuralangelo se reflète principalement dans sa « précision » et son « universalité » :

• La précision signifie que le modèle peut représenter avec précision la texture de matériaux complexes, tels que les tuiles, les vitres et le marbre lisse ;
« Universel » signifie que les créateurs peuvent simplement utiliser des séquences vidéo tournées avec des smartphones pour créer des objets réalistes et les intégrer dans leurs projets.

▲ Source de l'image NVIDIA

Le modèle Neuralangelo utilise des vidéos d'éléments pris sous différents angles comme matériau d'entrée pour générer les modèles dont les créateurs ont besoin. Une fois que Neuralangelo a déterminé le mouvement de la caméra dans la vidéo, il génère un contour 3D du modèle et commence à y sculpter des détails.

▲ Source de l'image NVIDIA

Nvidia devrait lancer le modèle Neuralangelo lors de la conférence Computer Vision and Pattern Recognition (CVPR) qui se tiendra du 18 au 22 juin. Lors de démonstrations internes, NVIDIA a montré des modèles restaurés en 3D d'objets du quotidien tels que la célèbre sculpture « David » de Michel-Ange reconstruite par le modèle Neuralangelo, les bureaux de NVIDIA dans la Bay Area et des remorques à plateau.

▲ Source de l'image NVIDIA

En plus de Neuralangelo, les modèles présentés par Nvidia lors de la conférence en comprenaient également un appelé DiffCollage. DiffCollage est un modèle d'IA qui peut générer des vidéos via des invites textuelles. Il peut générer des images panoramiques à 360 degrés et des images dynamiques en boucle, puis étendre ces images en vidéos spécifiques.

Ming-Yu Liu, directeur principal de NVIDIA Research et auteur de l'article, a donné son avis sur l'importance de cette recherche :

Les capacités de reconstruction 3D fournies par Neuralangelo apporteront d'énormes avantages aux créateurs, les aidant à recréer le monde réel dans le monde numérique. Cet outil permettra à terme aux développeurs d’importer des objets détaillés – qu’il s’agisse de petites statues ou de grands bâtiments – dans des environnements virtuels de jeux vidéo ou de jumeaux numériques industriels.

Les amis d'IT House peuvent trouver le contenu spécifique de l'article ici.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!