'참과 거짓을 구별하기 어렵다!' NeRF에서 생성된 자율주행 시뮬레이션 데이터를 현명하게 활용

이전에 작성됨 및 작성자의 개인적 이해

NeRF(신경방사선장)는 자율주행(AD)에 대한 재탐색의 서막을 앞당기는 도구가 되어 확장 가능한 폐쇄 루프 시뮬레이션 및 데이터 향상 기능을 제공합니다. 그러나 시뮬레이션에서 얻은 결과를 신뢰하려면 AD 시스템이 실제 데이터와 렌더링된 데이터를 동일한 방식으로 인식하는지 확인해야 합니다. 렌더링 방법의 성능이 향상되고 있지만 많은 장면을 충실하게 재구성하는 데 본질적으로 어려움이 남아 있습니다. 이를 위해 우리는 실제 데이터와 시뮬레이션 데이터 사이의 격차를 해소하기 위한 새로운 관점을 제안합니다. 우리는 렌더링 충실도를 향상시키는 데 중점을 둘 뿐만 아니라 실제 데이터 성능에 영향을 주지 않고 NeRF 아티팩트에 대한 지각 모델의 견고성을 향상시키는 간단하면서도 효과적인 방법을 탐구합니다. 또한 최첨단 신경 렌더링 기술을 사용하여 AD 설정에서 실제 데이터와 시뮬레이션 데이터 격차에 대한 최초의 대규모 조사를 수행합니다. 특히, 우리 연구에서는 실제 데이터와 시뮬레이션 데이터에 대한 객체 감지기와 온라인 매핑 모델을 평가하고 다양한 사전 훈련 전략의 효과를 조사합니다. 우리의 결과는 시뮬레이션된 데이터에 대한 모델 정확도가 크게 향상되었으며 경우에 따라 실제 성능도 향상되었음을 보여줍니다. 마지막으로 FID와 LPIPS를 강력한 지표로 식별하여 실제와 시뮬레이션의 유사성을 조사합니다.

이 글에서는 지능형 주행 시스템과 인식 모듈 간의 격차를 해소하기 위한 새로운 관점을 제안합니다. 우리의 목표는 렌더링 품질을 향상시키는 것이 아니라 실제 데이터의 성능을 저하시키지 않고 NeRF 아티팩트에 대해 지각 모델을 더욱 강력하게 만드는 것입니다. 우리는 이러한 방향이 NeRF 성능 향상을 보완하고 가상 AV 테스트를 활성화하는 데 핵심이라고 믿습니다. 이 방향의 첫 번째 단계로 우리는 단순한 데이터 증대 기술이라도 NeRF 아티팩트에 대한 모델의 견고성에 큰 영향을 미칠 수 있음을 보여줍니다.

대규모 AD 데이터 세트에 대한 최초의 광범위한 real2sim+gap 연구를 수행하고 실제 데이터 및 최첨단(SOTA) 신경 렌더링 방법 데이터에 대한 온라인 매핑 모델은 물론 여러 객체 감지기의 성능을 평가합니다. . 우리의 연구에는 훈련 중 다양한 데이터 확대 기술의 영향과 추론 중 NeRF 렌더링의 충실도가 포함됩니다. 우리는 모델을 미세 조정하는 동안 이러한 데이터가 증강 기술의 영향을 보여주었고, NeRF 렌더링의 충실도가 경우에 따라 실제 데이터의 성능을 향상시키는 것을 발견했습니다. 마지막으로 real2sim에서 암시적 이미지 재구성 메트릭과 공통 이미지 재구성 메트릭 간의 상관 관계를 연구하고 CAD 데이터 시뮬레이터에 NeRF를 사용하는 것의 중요성에 대한 통찰력을 얻습니다. 우리는 LPIPS와 FID가 real2sim 불일치의 강력한 지표임을 확인하고 제안된 개선 사항이 대비가 낮은 시각적 구성의 민감도를 감소시키는지 확인합니다.

자세한 방법 설명

NeRF 기반 시뮬레이션 엔진의 AD 기능을 테스트하고 검증하기 위해 수집된 데이터를 사용하여 새로운 가상 시나리오를 탐색할 수 있습니다. 그러나 이러한 모델을 사용한 결과가 신뢰할 수 있으려면 AD 시스템이 데이터와 실제 데이터를 처리할 때 동일한 방식으로 작동해야 합니다. 이 연구에서 우리는 AD 시스템을 조정하여 실제 데이터와 시뮬레이션 데이터 간의 차이에 덜 민감하게 만드는 대안적이고 보완적인 접근 방식을 제안합니다. 이러한 방식으로 우리는 AD 시스템을 실제 데이터와 시뮬레이션 데이터 간의 차이에 덜 민감하게 조정하여 실제 데이터와 시뮬레이션 데이터 간의 차이를 더 잘 처리할 수 있습니다.

미세 조정 전략을 통해 렌더링된 데이터의 아티팩트에 대해 지각 모델을 더욱 강력하게 만드는 방법을 탐색하는 첫 번째 단계로 다양한 미세 조정 전략을 사용했습니다. 특히, 이미 훈련된 모델이 주어지면 실제 데이터의 성능을 유지하면서 렌더링된 이미지의 성능을 향상시키는 데 초점을 맞춘 이미지를 사용하여 지각 모델을 미세 조정합니다(그림 2 참조). real2SIM 격차를 줄이는 것 외에도 센서 사실성에 대한 요구 사항을 줄이고, 신경 렌더링 방법을 더 광범위하게 적용할 수 있는 길을 열어주며, 설명 방법의 훈련 및 평가를 위한 계산 요구 사항을 줄일 수 있습니다. 우리는 지각 모델에 중점을 두지만 우리의 접근 방식은 엔드투엔드 모델로도 쉽게 확장될 수 있습니다.

마지막으로 도메인 적응 및 다중 작업 학습 문헌에서 영감을 얻는 등 모델을 더욱 강력하게 만드는 목표를 달성하기 위한 여러 가지 방법을 상상할 수 있습니다. 그러나 미세 조정에는 모델별 조정이 최소화되므로 다양한 모델을 쉽게 연구할 수 있습니다.

이미지 증대

이미지 증대는 일반적으로 사용되는 방법이며 아티팩트에 대한 견고성을 향상시키는 고전적인 전략은 이미지 증대를 사용하는 것입니다. 여기서는 렌더링된 이미지에 존재하는 다양한 왜곡을 표현하기 위해 개선 사항을 선택합니다. 보다 구체적으로, 무작위 가우시안 노이즈를 추가하고, 가우시안 블러 커널로 이미지를 컨볼루션하고, SimCLR에서 발견된 것과 유사한 광도 왜곡을 적용합니다. 마지막으로 이미지가 다운샘플링되고 업샘플링됩니다. 강화는 순차적으로 적용되며, 각 강화에는 일정한 확률이 있습니다.

혼합된 렌더링 이미지를 사용한 미세 조정

NeRF는 3D 장면 렌더링을 위한 딥 러닝 모델입니다. 미세 조정 중에 모델은 다른 자연스러운 형태에 적응할 수 있습니다. 즉, 미세 조정 중에 이 데이터를 포함할 수 있습니다. 이는 NeRF 방법을 감시 인식 모델과 동일한 데이터 세트에서 훈련할 수 있도록 NeRF 모델을 훈련하는 기능을 용이하게 합니다. 그러나 대규모 데이터 세트에 대한 NeRF 훈련은 비용이 많이 들 수 있으며, 그 중 일부에는 3D 객체 감지, 의미론적 분할 또는 다중 카테고리 레이블과 같은 작업을 위한 레이블이 필요할 수 있습니다. 또한 AD의 NeRF는 종종 데이터의 순서 요구 사항을 증가시킵니다. 이러한 요구 사항에 적응하기 위해 레이블에는 3D 객체 감지, 의미론적 분할 또는 다중 범주 레이블 등과 같은 보다 특별한 처리가 필요할 수 있습니다.

다음으로 선택한 시퀀스의 이미지를 NeRF 훈련 세트와 홀드아웃 세트로 나눕니다. 지각 모델의 미세 조정은 전체 훈련 데이터 세트 D에서 수행되며 D의 렌더링 대응이 있는 이미지의 경우 렌더링된 이미지를 확률 p로 사용합니다. 이는 미세 조정에 사용된 이미지가 NeRF 모델에 표시되지 않음을 의미합니다.

이미지-이미지 변환

앞서 언급했듯이 NeRF 데이터 렌더링은 비용이 많이 드는 데이터 증대 기술입니다. 또한 인식 작업에 필요한 데이터 외에도 순차적 데이터와 잠재적으로 추가 마커가 필요합니다. 즉, 확장 가능한 접근 방식을 위해 단일 이미지에 대한 NeRF 데이터를 얻는 효율적인 전략이 이상적으로 필요합니다. 이를 위해 우리는 NeRF와 유사한 이미지를 생성하는 방법을 배우기 위해 이미지 대 이미지 접근 방식을 사용할 것을 제안합니다. 실제 이미지가 주어지면 모델은 이미지를 NeRF 도메인으로 변환하여 NeRF의 전형적인 아티팩트를 효과적으로 도입합니다. 이를 통해 제한된 계산 비용으로 미세 조정하는 동안 NeRF와 유사한 이미지의 수를 크게 늘릴 수 있습니다. 렌더링된 이미지 Dnerf와 해당 실제 이미지를 사용하여 이미지 대 이미지 모델을 학습합니다. 다양한 개선 전략의 시각적 예가 그림 3에 나와 있습니다.

결과

결론

NeRF(Neural Radiation Field)가 자율 주행(AD) 시뮬레이션의 일부가 되었습니다. 데이터는 유망한 접근 방식입니다. 그러나 실제로 적용하려면 시뮬레이션된 데이터에 대해 AD 시스템에서 수행한 작업이 어떻게 실제 데이터로 변환되는지 이해해야 합니다. 우리의 대규모 조사에서는 시뮬레이션된 이미지와 실제 이미지에 노출된 지각 모델 간의 성능 차이가 드러났습니다.

렌더링 품질 향상에 초점을 맞춘 이전 접근 방식과 달리, 이 문서에서는 NeRF 시뮬레이션 데이터에 더욱 강력하게 만들기 위해 지각 모델을 변경하는 방법을 조사합니다. 우리는 NeRF 또는 NeRF와 유사한 데이터를 사용한 미세 조정이 실제 데이터의 성능을 저하시키지 않으면서 객체 감지 및 온라인 매핑 방법에 대한 real2sim 격차를 크게 줄이는 것을 보여줍니다. 또한 차선 이탈 시뮬레이션과 같이 기존 열차 분포 외부에서 새로운 시나리오를 생성하면 실제 데이터의 성능을 향상시킬 수 있음을 보여줍니다. NeRF 커뮤니티에서 일반적으로 사용되는 이미지 측정 항목에 대한 연구에 따르면 LPIPS 및 FID 점수는 지각 성능과 가장 강한 상관관계를 보이는 것으로 나타났습니다. 이는 지각 유사성이 단순한 재구성 품질보다 지각 모델에 더 큰 중요성을 갖는다는 것을 시사합니다.

결론적으로 우리는 NeRF 시뮬레이션 데이터가 AD에 유용하다고 믿습니다. 특히 제안된 방법을 사용하여 인식 모델의 견고성을 향상시킬 때 더욱 그렇습니다. 또한 NeRF 데이터는 시뮬레이션된 데이터에서 AD 시스템을 테스트하는 데 도움이 될 뿐만 아니라 실제 데이터에 대한 인식 모델의 성능을 향상시키는 데도 도움이 됩니다.