Indispensables pour les débutants, les notes d'étude NeRF donnent un aperçu de tout !

Qu'est-ce que exactement le champ de rayonnement neuronal ?

Champ de rayonnement : La distribution d'énergie formée lors de la propagation et de la réflexion de la lumière émise par la source lumineuse dans la scène. En termes simples, il s'agit d'une fonction qui enregistre les informations de rayonnement dans une certaine direction à un certain endroit dans l'espace. Les informations de rayonnement (ou distribution d'énergie) sont en fait des informations sur la couleur, la luminosité, l'ombre et d'autres. La direction ici nécessite une attention particulière, c'est l'un des facteurs importants pour que NeRF réalise une véritable reconstruction !

Cela conduit au concept de champ de rayonnement neuronal.
Champ de rayonnement neuronal : utilisez le réseau neuronal pour stocker la espacepositionradiation dans n'importe quelle direction. La description dans l'article original est la suivante :

La formule la plus standardisée est exprimée comme suit :

Saisissez la position 3D (x, y, z) et la direction de visualisation 2D (), et la sortie est densité de couleur et de volume

NeRF Les résultats spécifiques du réseau se réfèrent au texte original comme suit :

• Coordonnée 3D x entrée dans le premier réseau fσ, comprenant 8 couches entièrement connectées, 256 neurones par couche, activation ReLU ;
Le réseau fσ génère la densité volumique σ et un vecteur à 256 dimensions, qui est envoyé à fc (une couche, 128 canaux, activation ReLU) avec la direction de visualisation d pour prédire RVB

Comme on peut le voir ; à partir de ce qui précède, NeRF est implicitement modélisé car le modèle est stocké dans MLP. À l'intérieur, le modèle est le paramètre de MLP, qui est différent de la modélisation précédente de nuage de points et de maillage (le nuage de points/maillage peut voir directement le modèle). NeRF doit interroger les points tridimensionnels un par un, puis les restituer en image. Cette

méthode de visualisationou méthode de rendu est appelée rendu de volume.

Avant de regarder le rendu du volume. Jetons d'abord un coup d'œil à l'effet du réseau :

On peut voir que les couleurs sont différentes sous différents angles de vue ! C'est l'un des avantages très importants de NeRF par rapport à la reconstruction traditionnelle~

Le cœur de NeRF : le rendu de volume

Entrons dans le deuxième point essentiel du rendu de volume NeRF. Le rendu de volume est une méthode utilisée pour restituer la couleur et la densité dans des images 2D !

Le diagramme schématique est le suivant : La figure a montre un rayon émis depuis la position centrale optique de la caméra. Il y a des points d'échantillonnage sur le rayon. Les points d'échantillonnage et les directions sont envoyés au MLP pour obtenir la couleur et. densité volumique. La figure c montre la courbe de distribution de densité volumique le long du rayon, obtenue par échantillonnage. La couleur du pixel peut être obtenue en intégrant la courbe. Ce processus est un rendu de volume

Pour résumer les étapes de rendu de volume :

Émettez un rayon pénétrant chaque pixel depuis le centre optique de la caméra et prenez un point d'échantillonnage tridimensionnel sur le rayon ;
• Envoyez le point d'échantillonnage ; les coordonnées et la direction de l'angle de vue dans MLP calculent la densité de couleur et de volume 
• intègre (empile) les informations de couleur par densité de volume pour former une image 2D

La formule pour le rendu du volume est la suivante :

De Bien sûr, la version discrète de la formule est réellement utilisée :

Processus de reconstruction implicite

Après avoir parlé des champs de rayonnement neuronal et du rendu du volume, nous commençons maintenant le processus de reconstruction complet~

Avant de former un pipeline terminé, il reste encore deux problèmes à résoudre :

Afin de résoudre les deux problèmes ci-dessus, NeRF a proposé un processus d'encodage positionnel et d'échantillonnage stratifié

Encodage positionnel :

L'article montre intuitivement la comparaison des effets d'encodage positionnel :

On peut voir que sans codage de position, le modèle ne peut pas exprimer d'informations géométriques et de texture à haute fréquence~

Adoption multicouche :

Le processus de formation est le suivant :

Expérience et résumé

Indicateurs d'évaluation :

Paramètres expérimentaux :

Les résultats expérimentaux montrent que l'astigmatisme sur les billes de divers matériaux peut également être bien exprimé~

Ablation expérimenter :

Résumé

Le champ de rayonnement neuronal proposé dans cet article émet un rayon d'échantillonnage à travers le pixel depuis le centre optique de la caméra, sélectionne un point sur le rayon, utilise un MLP pour cartographier sa position tridimensionnelle et direction de visualisation vers la densité du volume et la couleur, puis utilisez l'empilement de rendu du volume pour échantillonner la densité du volume et la couleur sur les rayons afin d'obtenir les valeurs de pixels. L'erreur entre la valeur du pixel et l'image GT est calculée puis rétropropagée pour optimiser les paramètres MLP. Cet article utilise une telle méthode de reconstruction implicite pour obtenir une reconstruction et un rendu de modèle photoréalistes.

Défauts :

• Vitesse de rendu et d'entraînement lente ;
• exigences élevées en matière de nombre et de répartition des vues
• difficile d'étendre l'image à l'arrière-plan ou à des scènes plus grandes ;

Lien original : https://mp.weixin.qq.com/s/ctDBTaLWuHTM9MONrAor4g

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!