새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법-일체 포함-php.cn

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법 Pictures

문서 링크:https://arxiv.org/pdf/2310.19629

코드 링크:https://github.com/vLAR-group/RayDF

홈페이지:필수 재작성된 콘텐츠는 다음과 같습니다: https://vlar-group.github.io/RayDF.html

재작성된 콘텐츠: 구현 방법:

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

RayDF의 전체 프로세스 및 구성 요소는 다음과 같습니다(그림 1 참조).

1. 소개

머신 비전 및 로봇 공학 분야의 많은 최첨단 응용 분야에서 정확하고 효율적인 세 가지를 배웁니다. -차원적인 도형 표현이 매우 중요합니다. 그러나 기존의 3차원 좌표 기반 암시적 표현은 3차원 형상을 표현하거나 2차원 이미지를 렌더링할 때 많은 계산 비용이 소요되는 반면, 광선 기반 방법은 3차원 형상을 효율적으로 추론할 수 있습니다. 그러나 기존의 광선 기반 방법은 다시점 각도에서의 기하학적 일관성을 고려하지 않아 알 수 없는 시야각에서 정확한 기하학적 형상을 복원하기 어렵습니다. 이러한 문제를 해결하기 위해 본 논문에서는 다시점을 유지하는 새로운 방법을 제안합니다. 기하학적 일관성. RayDF라는 광선 기반 암시적 표현 방법입니다. 이 방법은 새로운 이중 광선 가시성 분류기와 다중 뷰 일관성 최적화 모듈을 도입하여 간단한 광선-표면 거리 필드를 기반으로 합니다. )

, 여러 보기 각도의 기하학적 일관성을 충족하는 광선-표면 거리를 얻는 방법을 학습합니다. . 실험 결과는 수정된 방법이 세 가지 데이터 세트에서 우수한 3D 표면 재구성 성능을 달성하고 좌표 기반 방법보다 1000배 빠른 렌더링 속도를 달성한다는 것을 보여줍니다(표 1 참조).

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법 다음은 주요 기여입니다.

광선-표면 거리 필드를 사용하여 3차원 도형을 표현하는 이 표현식은 기존 좌표 기반 표현식보다 효율적입니다.

새로운 이중 광선 가시성 분류기를 설계했습니다. 광선 쌍의 공간 관계를 학습함으로써 학습된 광선 표면 거리 필드가 여러 시야각에서 기하학적 일관성을 유지할 수 있습니다.
3D 형상 재구성에서 이 방법의 정확성과 효율성은 여러 데이터 세트에서 입증되었습니다.
2. 방법

2.1 개요

그림 1에서 볼 수 있듯이 RayDF에는 두 개의 네트워크와 최적화 모듈이 포함되어 있습니다. 메인 네트워크 광선-표면 거리 네트워크의 경우 광선의 시작점과 광선이 닿는 기하학적 표면 지점 사이의 거리 값을 얻으려면 광선만 입력하면 됩니다. 그 중 RayDF는 그림 2와 같이 3차원 장면을 둘러싼 공을 사용하여 입력 광선을 매개변수화하고 매개변수화된 4차원 구 좌표(발생점 및 종료점)를 네트워크 입력으로 사용합니다. 보조 네트워크 이중 광선 가시성 분류기의 경우 광선 쌍과 기하학적 표면 점을 입력하여 두 광선 간의 상호 가시성을 예측합니다. 훈련을 받은 후 이 보조 네트워크는 후속 다중 뷰 일관성 최적화 모듈에서 핵심 역할을 합니다.

그림 2 광선 매개변수화 및 광선-표면 거리장의 네트워크 구조 새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

2.2 이중 광선 가시성 분류기

이 방법의 보조 네트워크는 두 개의 입력 광선이 동시에 표면을 볼 수 있는지 여부를 예측하는 것입니다. 포인트에 대한 이진 분류자입니다. 그림 3에서 볼 수 있듯이 두 개의 입력 광선에서 얻은 특징은 예측 결과가 두 광선의 순서에 영향을 받지 않도록 평균화됩니다. 동시에, 표면점을 별도로 인코딩하여 얻은 특징을 광선 특징 뒤에 접합하여 광선 특징을 강화함으로써 분류기의 정확도를 향상시킵니다.

이중선 가시성 분류기의 프레임워크 구조는 그림 3과 같습니다. 새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

2.3 다중 시점 일관성 최적화

설계된 주망 광선-표면 거리망과 보조망 이중선 가시성 분류기를 기반으로, 두 네트워크에서 2단계 학습을 수행하기 위해 다중 뷰 일관성 최적화의 핵심 모듈이 도입되었습니다.

(1) 먼저 보조 네트워크 이중 광선 가시성 분류기에 대한 훈련을 위한 광선 쌍을 구성합니다. 그림의 광선(그림의 픽셀에 해당)의 경우 해당 공간 표면 지점은 광선 표면 거리를 통해 알 수 있습니다. 이를 훈련 세트의 나머지 시야각에 투영하여 다른 광선과 이 광선을 얻습니다. 해당 광선 표면 거리가 있습니다. 기사에서는 두 광선이 서로 보이는지 여부를 결정하기 위해 임계값을 10mm로 설정합니다.

(2) 두 번째 단계는 예측 거리 필드가 다중 시점 일관성을 충족하도록 주 네트워크 광선-표면 거리 네트워크를 훈련시키는 것입니다. 그림 4에서 보는 바와 같이 주광선과 그 표면점에 대해 표면점을 구의 중심으로 균일하게 샘플링하여 여러 개의 다시점 광선을 얻는다. 주 광선과 이러한 다중 뷰 광선을 하나씩 결합하면 훈련된 이중 광선 가시성 분류기를 통해 상호 가시성을 얻을 수 있습니다. 그런 다음 광선 표면 거리 네트워크를 통해 이러한 광선의 광선 표면 거리를 예측합니다. 주 광선과 특정 샘플링 광선이 서로 표시되면 두 광선의 광선 표면 거리로 계산된 표면 점이 동일해야 합니다. 해당 손실 함수가 설계되고 메인 네트워크가 훈련되어 궁극적으로 광선-표면 거리 필드가 다중 뷰 일관성을 충족할 수 있습니다.

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

2.4 표면 법선 도출 및 이상점 제거

장면 표면 가장자리의 깊이 값에는 종종 돌연변이(불연속성)가 있고 신경망은 연속 함수이므로 위의 광선-표면 거리 필드는 다음과 같습니다. 표면에서 가장자리에서는 부정확한 거리 값을 예측하기 쉽고, 가장자리의 기하학적 표면에 노이즈가 발생합니다. 다행히 설계된 광선-표면 거리장은 그림 5와 같이 좋은 특징을 가지고 있습니다. 추정된 각 3차원 표면 지점의 법선 벡터는 네트워크의 자동 미분을 통해 닫힌 형태로 쉽게 찾을 수 있습니다. 따라서 네트워크 추론 단계에서 표면 점의 법선 벡터의 유클리드 거리를 계산할 수 있으며, 거리 값이 임계값보다 크면 표면 점을 이상값으로 간주하여 제거함으로써 깨끗한 3차원을 얻을 수 있습니다. 재구성된 표면.

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

그림 5 표면 법선 계산

III. 실험

제안한 방법의 유효성을 확인하기 위해 세 가지 데이터 세트에 대한 실험을 수행했습니다. 이 세 가지 데이터 세트는 객체 수준 합성 데이터 세트 Blender [1], 장면 수준 합성 데이터 세트 DM-SR [2] 및 장면 수준 실제 데이터 세트 ScanNet [3]입니다. 성능 비교를 위해 7가지 기준을 선택했습니다. 그 중 OF [4]/DeepSDF [5]/NDF [6]/NeuS [7]는 좌표 기반 레벨 설정 방법이고, DS-NeRF [8]는 깊이 감독 NeRF 기반 방법, LFN [ 9]와 PRIF [10]은 두 개의 광선 기반 기준선입니다.

RayDF 방법은 텍스처를 학습하기 위해 직접적으로 복사 분기를 추가할 수 있기 때문에 복사 필드 예측을 지원하는 기본 모델과 비교할 수 있습니다. 따라서 본 논문의 비교 실험은 두 그룹으로 나누어진다. 첫 번째 그룹(그룹 1)은 거리(기하학)만 예측하고, 두 번째 그룹(그룹 2)은 거리와 광도(기하학 및 질감)를 모두 예측한다.

3.1 평가 블렌더 데이터세트

표 2와 그림 6에서 볼 수 있듯이 그룹 1과 2에서 RayDF는 표면 재구성, 특히 가장 중요한 ADE 표시기에서 좌표와 광선을 기반으로 한 기준선보다 훨씬 더 나은 결과를 얻었습니다. 동시에 Radiance Field 렌더링 측면에서도 RayDF는 DS-NeRF에 필적하고 LFN 및 PRIF보다 우수한 성능을 달성했습니다.

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

그림 6 Blender 데이터 세트의 시각적 비교

3.2 DM-SR 데이터 세트 평가

표 3에서 볼 수 있듯이 가장 중요한 ADE 지표에서 RayDF는 모든 기준을 능가합니다. 동시에 Group 2 실험에서 RayDF는 정확한 표면 형상이 복원되었음을 확인하면서 고품질의 새로운 뷰 합성을 얻을 수 있었습니다(그림 7 참조).

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

그림 7 DM-SR 데이터 세트의 시각적 비교

3.3 ScanNet 데이터 세트 평가

표 4는 까다로운 실제 시나리오에서 RayDF의 성능과 기준선을 비교합니다. 첫 번째 및 두 번째 그룹에서 RayDF는 거의 모든 평가 지표에서 기준보다 훨씬 뛰어난 성능을 보여 복잡한 실제 3D 장면

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

을 복구하는 데 분명한 이점을 보여줍니다. 다음은 데이터 세트의 시각적 비교를 위해 그림 8 ScanNet 재작성된 콘텐츠입니다. 그림 8에서는 ScanNet 데이터 세트의 시각적 비교 결과를 보여줍니다.

3.4 Ablation Study

Blender 데이터 세트에 대해 Ablation 실험을 수행했습니다. 논문의 표 5는 핵심 Dual-Ray Visibility Classifier의 Ablation 실험 결과를 보여줍니다.

는 표 5(1)에 나와 있습니다. 이중 광선 가시성 분류기의 도움이 없으면 광선 표면 거리 필드는 새로운 시야각에서 광선에 대한 합리적인 거리 값을 예측할 수 없습니다(그림 참조). 9).
분류기의 입력에서는 표 5의 (2)와 (3)과 같이 입력된 표면 점 좌표가 보조로 선택되거나 표면 점 거리 값이 보조로 선택되거나 보조 정보가 제공되지 않는 경우 분류기의 정확도가 낮고 F1 점수가 획득되므로 광선 표면 거리 네트워크에 제공되는 가시성 정보가 부족하여 잘못된 거리 값을 예측하게 됩니다.
표 5(4)에서 볼 수 있듯이 한 쌍의 광선을 비대칭 방식으로 입력하면 훈련된 분류기의 정확도는 높아지지만 F1 점수는 낮아집니다. 이는 이 분류기가 대칭 입력 광선으로 훈련된 분류기보다 훨씬 덜 강력하다는 것을 보여줍니다.

다른 절제 작업은 종이와 종이 부록에서 볼 수 있습니다

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법

다시 작성해야 하는 내용은 다음과 같습니다. 그림 9는 분류기를 사용하는 것과 분류기를 사용하지 않는 것을 시각적으로 비교한 것입니다

IV. 결론

광선 기반 다중 시점 일관성 프레임워크를 사용하여 연구를 진행하면서 본 논문은 이 방법을 통해 3차원 형상 표현을 효율적이고 정확하게 학습할 수 있다는 결론에 도달했습니다. 논문에서는 간단한 광선-표면 거리 필드를 사용하여 3차원 형상의 기하학을 표현하고, 새로운 이중 광선 가시성 분류기를 사용하여 다중 시점 기하학적 일관성을 더욱 달성했습니다. 여러 데이터 세트에 대한 실험을 통해 RayDF 방법은 렌더링 효율성이 매우 높고 성능이 우수하다는 것이 입증되었습니다. RayDF 프레임워크에 대한 추가 확장을 환영합니다. 홈페이지에서 더 많은 시각화 결과를 보실 수 있습니다

다시 작성해야 할 내용은 다음과 같습니다: https://vlar-group.github.io/RayDF.html

새 타이틀: 실시간 렌더링이 진화했습니다! 광선을 기반으로 한 혁신적인 3차원 재구성 방법