현실적이고 제어 가능하며 확장 가능한 자율 주행 조명 시뮬레이션 플랫폼 LightSim이 새롭게 출시되었습니다.

최근 Waabi AI, 토론토 대학교, 워털루 대학교 및 MIT의 연구원들은 NeurIPS 2023에서 새로운 자율 주행 조명 시뮬레이션 플랫폼 LightSim을 제안했습니다. 연구진은 누락된 데이터와 모델 이동 손실 문제를 해결하기 위해 실제 데이터로부터 쌍을 이루는 조명 훈련 데이터를 생성하는 방법을 제안했습니다. LightSim은 NeRF(Neural Radiation Fields) 및 물리 기반 딥 네트워크를 사용하여 차량 운전 비디오를 렌더링하고 최초로 대규모 실제 데이터에서 동적 장면의 조명 시뮬레이션을 달성합니다

• 프로젝트 웹사이트: https: //waabi .ai/lightsim
• 문서 링크: https://openreview.net/pdf?id=mcx8IGneYw

자율주행 조명 시뮬레이션이 필요한 이유는 무엇인가요?

로봇공학에서 카메라 시뮬레이션은 매우 중요하며, 특히 자율주행차가 야외 장면을 인식하는 경우 더욱 그렇습니다. 그러나 기존 카메라 인식 시스템은 훈련되지 않은 실외 조명 조건에서는 제대로 작동하지 않습니다. 카메라 시뮬레이션을 사용하여 다양한 실외 조명 변화 데이터 세트를 생성함으로써 자율 주행 시스템의 안정성을 향상시킬 수 있습니다. 일반적인 카메라 시뮬레이션 방법은 일반적으로 물리 엔진을 기반으로 합니다. 3D 모델과 조명 조건을 설정하여 장면을 렌더링하는 방법입니다. 그러나 시뮬레이션 효과는 종종 다양성이 부족하고 충분히 현실적이지 않습니다. 게다가 고품질 3D 모델의 수가 제한되어 있기 때문에 물리적 렌더링 결과가 실제 장면과 정확하게 일치하지 않습니다. 이로 인해 실제 데이터에 대해 훈련된 모델의 일반화 능력이 저하됩니다.

또 다른 방법은 데이터 기반 시뮬레이션 방법을 기반으로 합니다. 이 접근 방식은 신경 렌더링 기술을 사용하여 현실 세계의 디지털 트윈을 재구성하여 센서에서 관찰한 데이터를 복제합니다. 이렇게 하면 더 유연하게 장면을 만들고 현실감을 높일 수 있습니다. 그러나 현재 기술은 장면의 조명 정보를 3D 모델에 내장하므로 조명 조건을 변경하거나 객체를 추가하거나 삭제하는 등 디지털 트윈의 편집이 제한됩니다. 물리 엔진과 신경망을 기반으로 한 조명 시뮬레이션 시스템 LightSim: 도시 장면을 위한 신경 조명 시뮬레이션.

이전 작업과 달리 LightSim은 다음 사항을 동시에 달성할 수 있습니다.

1. : 최초로 대규모 야외 동적 장면의 조명을 시뮬레이션할 수 있으며, 그림자, 객체 간 조명 효과 등을 보다 정확하게 시뮬레이션할 수 있습니다.

2.

: 동적 운전 장면 편집(객체 추가, 삭제, 카메라 위치 및 매개변수, 조명 변경, 안전에 중요한 장면 생성 등)을 지원하여 보다 현실적이고 일관된 비디오를 생성합니다. 조명 및 가장자리 조건에 대한 시스템의 견고성. 3.

: 더 많은 시나리오와 다양한 데이터 세트로 쉽게 확장할 수 있습니다. 데이터를 한 번만 수집하면(단일 패스) 실제적이고 제어 가능한 시뮬레이션 테스트를 재구성하고 수행할 수 있습니다.

시뮬레이션 시스템 구축

1단계: 실제 재조명 디지털 트윈 구축

디지털 세계의 자율 주행 장면을 재현하려면 먼저 LightSim이 필요합니다. 수집된 데이터는 동적 객체와 정적 장면으로 구분됩니다. 이 단계에서는 UniSim을 사용하여 장면을 재구성하고 네트워크에서 카메라 뷰 종속성을 제거합니다. 그런 다음 행진 큐브를 사용하여 형상을 얻은 다음 기본 재료가 포함된 메시로 추가 변환합니다.

재료 및 기하학 외에도 LightSim은 야외 주간 장면의 주요 광원인 태양과 하늘을 기반으로 실외 조명을 추정하고 높은 동적 범위 환경 맵(HDR 스카이 돔)을 얻을 수도 있습니다. LightSim은 센서 데이터와 추출된 형상을 사용하여 불완전한 파노라마 이미지를 추정한 다음 이를 완성하여 하늘의 전체 360° 뷰를 얻을 수 있습니다. 그런 다음 이 파노라마 이미지와 GPS 정보를 사용하여 태양 강도, 태양 방향 및 하늘 모양을 정확하게 추정하는 HDR 환경 지도를 생성합니다.

요약: 두 번째 단계는 동적 도시 장면의 신경 조명 시뮬레이션을 수행하는 것입니다.

디지털 트윈을 얻은 후 추가 또는 제거 등 추가로 수정할 수 있습니다. 증강 현실 표현을 생성하기 위해 객체, 차량 궤적 변경, 조명 변경 등을 수행합니다. LightSim은 물리적 기반 렌더링을 수행하여 기본 색상, 깊이, 법선 벡터 및 그림자와 같은 장면 수정을 위한 조명 관련 데이터를 생성합니다. 이 조명 관련 데이터와 장면의 소스 및 대상 조명 조건에 대한 추정을 사용하여 LightSim 워크플로는 다음과 같습니다.

물리 기반 렌더링 이미지는 형상의 불완전성과 재료/조명 분해의 오류로 인해 장면의 조명 효과를 재구성하는 데 적합하지만 렌더링 결과는 흐림, 비현실적인 표면 반사와 같은 사실성이 부족한 경우가 많습니다. 그리고 경계 인공물. 따라서 연구자들은 현실감 향상을 위해 신경 지연 렌더링을 제안합니다. 그들은 미리 계산된 버퍼의 소스 이미지와 렌더링 엔진에서 생성된 조명 관련 데이터를 사용하여 최종 이미지를 생성하는 이미지 합성 네트워크를 도입했습니다. 동시에, 논문의 방법은 조명 상황을 향상시키기 위한 환경 맵을 네트워크에 제공하고 디지털 트윈을 통해 쌍을 이루는 이미지를 생성하여 새로운 쌍별 시뮬레이션 및 실제 데이터 훈련 방식을 제공합니다

시뮬레이션 기능 시연

장면 조명 변경(장면 재조명)

LightSim은 새로운 조명 조건에서 시간 일관성 있는 방식으로 동일한 장면을 렌더링할 수 있습니다. 영상에서 볼 수 있듯이, 새로운 태양 위치와 하늘의 모습은 장면의 그림자와 모습을 변화시킵니다.

LightSim은 자동으로 장면을 일괄 재조명할 수 있습니다. 원본 장면과 동일한 추정 및 실제 HDR 환경 맵에서 새로운 시간 일관성을 갖춘 3D 인식 조명 변경을 생성할 수 있습니다. 표현은 편집 가능하고 태양의 방향을 변경할 수 있으므로 조명 변경 및 그림자 관련 업데이트가 가능합니다. 태양 빛의 방향으로. HDR 환경 맵을 회전하고 이를 신경 지연 렌더링 모듈에 전달함으로써 LightSim은 다음 비디오를 생성합니다.

LightSim은 그림자의 일괄 편집도 지원합니다. 조명 인식 문자 삽입

In 조명 수정 외에도 LightSim은 건축 장애물과 같은 흔하지 않은 개체에 조명 인식 추가 기능을 수행할 수도 있습니다. 이렇게 추가된 개체는 개체의 조명 그림자를 업데이트하고 개체를 정확하게 가리며 전체 카메라 구성에 공간적으로 적응할 수 있습니다.

시뮬레이션 전송(nuScene으로 일반화)

LightSim의 신경 지연 렌더링 네트워크는 여러 운전 비디오에 대해 훈련되었기 때문에 LightSim은 새로운 장면에 일반화될 수 있습니다. 다음 비디오는 nuScenes의 운전 장면에 대한 LightSim의 일반화 기능을 보여줍니다. LightSim은 각 장면의 조명 인식 디지털 트윈을 구축한 다음 PandaSet에서 사전 훈련된 신경 지연 렌더링 모델에 적용할 수 있습니다. LightSim은 우수한 마이그레이션 성능을 갖추고 있으며 장면 재조명을 위한 보다 강력한 솔루션을 제공할 수 있습니다

실제 및 제어 가능한 카메라 시뮬레이션위에 표시된 모든 기능을 기반으로 LightSim은 제어 가능하고 다양하며 현실적인 카메라 시뮬레이션을 달성합니다. 다음 비디오는 LightSim의 장면 시뮬레이션 기능을 보여줍니다. 영상에서 흰색 차량은 SDV 차선으로 긴급 차선 변경을 하여 새로운 장애물을 도입했으며 이로 인해 흰색 차량은 완전히 새로운 장면으로 진입하게 되었습니다. 새로운 장면의 다양한 조명 조건에서 LightSim이 생성한 효과는 다음과 같습니다. : .

아래 동영상에서는 새로운 예를 보여줍니다. 기존 도로 장애물에 새로운 장애물이 삽입되고 새로운 차량 세트가 추가되었습니다. 시뮬레이션된 조명에 LightSim을 사용하면 새로 추가된 차량을 장면에 완벽하게 통합할 수 있습니다

요약 및 전망

LightSim은 대규모 동적 운전 장면을 처리하기 위한 서비스를 제공하는 조명 인식 카메라 시뮬레이션 플랫폼입니다. 실제 데이터를 기반으로 조명 인식 디지털 트윈을 구축하고 이를 수정하여 다양한 객체 레이아웃과 자율주행차 관점을 갖춘 새로운 장면을 만들 수 있습니다. LightSim은 새로운 조명 조건을 시뮬레이션할 수 있어 다양하고 사실적이며 제어 가능한 카메라 시뮬레이션을 통해 시간적/공간적으로 일관된 비디오를 생성할 수 있습니다. LightSim을 역방향 렌더링, 날씨 시뮬레이션 및 기타 기술과 결합하여 시뮬레이션 성능을 더욱 향상시킬 수도 있다는 점은 주목할 가치가 있습니다

위 내용은 현실적이고 제어 가능하며 확장 가능한 자율 주행 조명 시뮬레이션 플랫폼 LightSim이 새롭게 출시되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!