Princeton Infinigen Matrix est ouvert ! Le créateur d'IA crée la nature à 100 %, si réaliste qu'elle explose

Neo découvre que le monde dans lequel il vit n'est pas réel, mais une réalité simulée soigneusement conçue.

Et vous, pendant un instant, avez pensé que le monde dans lequel nous vivons est un monde matriciel simulé.

Et voilà, la matrice est officiellement ouverte.

Sentez-vous sereinement, cette terre où les humains ont vécu depuis longtemps, la beauté de la nature Tout est un monde illusoire.

Le soleil se lève sur le glacier arctique. Il existe toutes sortes de poissons étranges et de récifs coralliens colorés dans le monde sous-marin.

La neige vole dans les montagnes et les aigles planent dans le vaste ciel. Dans le désert brûlant, de dangereux serpents circulent librement.

Les petits arbres au bord de la rivière brûlaient d'un feu déchaîné et se remplissaient de fumée.

Mer et criques cristallines, tortues paressant sur la plage Le sol était se prélassant au soleil et de nombreuses libellules jouaient dans le ciel.

Les changements de lumière et d'ombre dans la grotte.

Les gouttes de pluie qui tombent et les feuilles d'érable qui tombent dans le vent ont arrêté le temps d'un coup.

Tout ce que vous voyez est conçu par l'intelligence artificielle. Leurs simulations sont si réalistes qu’elles sont confondues avec la réalité elle-même.

L'équipe qui a ouvert la porte à cette matrice est originaire de Princeton. Au moment où la recherche a été publiée, elle a provoqué un tollé sur Internet.

Les internautes disaient les uns après les autres que nous vivons dans la matrice !

Dans l'article, les chercheurs ont présenté un générateur procédural "Infinigen" pour des scènes 3D réalistes dans le monde naturel.

Infinigen est entièrement procédural, de la forme à la texture, le tout généré à partir de zéro grâce à des règles mathématiques aléatoires.

Même, il peut être transformé à l'infini, couvrant les plantes, les animaux, le terrain et les phénomènes naturels comme le feu, les nuages, la pluie et la neige.

Le dernier article a été accepté par le CVPR 2023.

Adresse papier : https://arxiv.org /pdf/2306.09310.pdf

Infinigen est construit sur l'outil graphique gratuit et open source Blender. Infinigen est également open source.

Il est à noter qu'une paire d'images 1080p peut être générée en 3,5 heures !

Générateur de données de CV illimité

Princeton Infinigen , proposé par l'université, peut être facilement personnalisé pour générer des scénarios réalistes pour une variété de tâches spécifiques.

est le suivant, simulant la diversité de la nature.

Et sa fonction principale est qu'il peut être utilisé comme générateur d'entraînement illimité de données pour un large éventail de tâches de vision par ordinateur.

Parmi eux, notamment la détection de cibles, la segmentation sémantique, l'estimation de pose, la reconstruction 3D, la synthèse de vues et la génération vidéo.

De plus, il peut être utilisé pour construire et entraîner des robots physiques, ainsi que des environnements virtuels simulés pour les agents incarnés.

Bien entendu, l'impression 3D, le développement de jeux, la réalité virtuelle, la production de films et la création de contenu général sont tous disponibles.

Ensuite, jetons un coup d'œil à la façon dont le système Infinigen est conçu.

Aperçu de Blender.

Les chercheurs utilisent principalement Blender pour développer des règles procédurales. Blender est un logiciel de modélisation 3D open source qui fournit diverses primitives et outils pratiques.

Blender représente la scène comme une hiérarchie d'objets placés.

pendant que les utilisateurs transforment des objets, ajoutent des primitives et modifient des maillages. Modifiez cette représentation.

Blender permet l'importation/exportation des formats de fichiers 3D les plus courants.

Enfin, tout dans Blender peut être automatisé via son API Python, ou en consultant son code open source.

Traducteur de nœud.

Dans le cadre d'Infinigen, les chercheurs ont développé un nouvel ensemble d'outils pour accélérer la modélisation procédurale des chercheurs.

Un exemple notable est le Node Converter des chercheurs, qui convertit automatiquement les graphiques de nœuds en code Python, comme indiqué. Le code résultant est plus général et permet aux chercheurs de randomiser la structure du graphique plutôt que simplement le paramètre d'entrée.

Cet outil rend les diagrammes de nœuds plus expressifs et permet une intégration facile avec d'autres règles de programmation développées directement en Python ou C++. Il permet également aux non-programmeurs de contribuer Python à Infinigen en créant du code de graphiques de nœuds.

Sous-système générateur. Infinigen est composé de générateurs, qui sont des programmes probabilistes, chacun spécialisé dans la génération d'une sous-classe d'actifs (comme les montagnes ou les poissons).

Chaque générateur dispose d'un ensemble de paramètres de haut niveau (tels que le hauteur totale de la montagne), reflétant le degré de liberté externe contrôlable par l'utilisateur.

Par défaut, les chercheurs échantillonnent ces paramètres de manière aléatoire en fonction de distributions adaptées pour refléter la nature, sans intervention de l'utilisateur.

Cependant, les utilisateurs peuvent également utiliser l'API Python des chercheurs pour remplacer n'importe quel paramètre afin d'obtenir un contrôle précis sur la génération de données.

L'image ci-dessous est une scène aléatoire qui ne contient que du terrain. Les chercheurs ont sélectionné 13 images de différents types de scènes naturelles.

sont : les montagnes, les rivières en crue, les montagnes enneigées, les levers de soleil côtiers, les icebergs sous-marins et arctiques, les déserts, les grottes, les canyons et les îles flottantes.

L'image ci-dessous est une image générée aléatoirement de flammes simulées, comprenant de la fumée, des cascades et des scènes d'éruption volcanique. . Feuilles, fleurs, champignons, pommes de pin.

Arbres, cactus, arbustes.

la vie marine. Différents types de surfaces.

L'image ci-dessous montre la génération des créatures.

Les chercheurs ont généré automatiquement différents génomes (a), parties du corps (b), épissage de parties du corps (c), cheveux (d) et posture du corps (e).

Sur le côté droit de l'image se trouvent les carnivores, herbivores, oiseaux, coléoptères et poissons générés aléatoirement et présentés par les chercheurs. Dans l'image ci-dessous, les chercheurs ont composé une disposition de scène aléatoire selon le programme (a).

Le chercheur a généré tout le contenu d'image nécessaire (b, pour afficher la couleur de chaque face de maillage) et a appliqué des matériaux procéduraux et des déplacements (c).

L'image ci-dessous montre la mise à l'échelle dynamique de la résolution.

Les chercheurs ont démontré une visualisation en grille rapprochée de trois caméras à des distances différentes mais avec le même contenu.

Bien que la résolution de la grille soit différente, aucun changement n'est visible dans l'image finale.

Résultats expérimentaux

Pour évaluer Infinigen, les chercheurs ont produit 30 000 paires d'images avec la vérité terrain pour une correspondance stéréo rectifiée.

Les chercheurs ont commencé à entraîner RAFTStereo sur ces images et ont comparé les résultats sur l'ensemble de validation et l'ensemble de test de Middlebury.

Ce code de recherche vient d'être publié aujourd'hui et a déjà reçu 99 étoiles.

Déjà vu "Westworld"

Le scientifique de NVIDIA, Jim Fan, a déclaré que lorsque nous n'avons pas de bonnes données d'entraînement dans la réalité, la simulation est la prochaine "mine d'or".

Ici, Infinigen est un ensemble de données open source, généré par programme et réaliste pour la vision 3D. La qualité est incroyable ! Il n’y a pas deux mondes identiques.

▸ Chaque petit détail est aléatoire et personnalisable, même les plis sur les pétales !

▸ Divers objets et scènes dans la nature : plantes, animaux, feu de terrain, nuages, pluie et neige.

▸ Annotation automatique de la vérité terrain : flux optique, flux de scène 3D, profondeur, vecteur normal à la surface, segmentation panoramique, frontière fermée.

▸ Écrit dans Blender.

Certains internautes ont dit que c'était vraiment une révélation pour moi. Générez de manière procédurale des mondes 3D dans Blender. Sans utiliser l’IA, vous pouvez créer n’importe quel monde imaginable.

Combinez des outils comme Daz3D pour créer le monde, Blockade Labs pour créer la skybox et Convai pour créer les PNJ.

Certaines personnes ont également déclaré qu'Infinigen jouerait un rôle dans la recherche sur l'intelligence artificielle en vision par ordinateur.

Il croit que l'intelligence artificielle gérera tout à l'avenir.

Par exemple, nous voulons créer un village avec une cascade dans une forêt brumeuse.

Nous demandons à une IA d'écrire une description détaillée de la forêt et de l'envoyer au générateur de monde 3D.

Une fois le monde généré, vous pouvez ajouter des personnages au village. Ces personnes seront contrôlées par l’intelligence artificielle et auront des interactions, des conversations et des souvenirs.

Une sorte de ruée vers Westworld.

De plus, certains internautes ont déclaré que la génération procédurale existe depuis 20 ans (je le fais depuis 15 ans). "No Man's SKy" est un excellent exemple de technologie d'il y a 5 ans.

Le point fort d'Infinigen est qu'il génère des données étiquetées. Ces données peuvent être utilisées pour entraîner l’IA. C'est fou.

Certains internautes imaginent que dans un futur proche, les jeux vont devenir fous... Les développeurs de jeux "indépendants" vont pouvoir lancer des contenus haut de gamme fous.

La génération Infinigen est si réaliste que certaines personnes pensent qu'elle a été générée par Unreal Engine.

Introduction à l'auteur

Alexander Raistrick

Alexander Raistrick est un doctorant de deuxième année au Département d'informatique de l'Université de Princeton, et son superviseur est Jia Deng.

Lahav Lipson

Lahav Lipson est doctorant en troisième année à l'Université de Princeton.

Ses recherches se concentrent sur la construction de réseaux profonds pour la vision 3D, en tirant parti d'hypothèses fortes sur la géométrie épipolaire pour obtenir une meilleure généralisation et une meilleure précision des tests.

Zeyu Ma

Zeyu Ma est doctorante en troisième année au Laboratoire de vision et d'apprentissage de l'Université de Princeton. Il a obtenu un baccalauréat en ingénierie électronique de l'Université Tsinghua en 2020. Les recherches actuelles se concentrent sur la reconstruction 3D multi-vues et la génération de données procédurales.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!