미래로 여행을 떠나다, 최초의 멀티뷰 예측+계획 자율주행 세계 모델 등장

최근 월드 모델 콘셉트로 열풍이 불고 있지만 자율주행 분야는 '불'을 멀리서 지켜볼 수 없다. 중국과학원 자동화 연구소 팀은 엔드투엔드 자율주행 계획의 안전성을 향상시키는 것을 목표로 Drive-WM이라는 새로운 다중 뷰 세계 모델을 처음으로 제안했습니다.

웹사이트: https://drive-wm.github.io

논문 URL: https://arxiv.org/abs/2311.17918

최초의 멀티뷰 예측 및 기획 자율주행 세계 모델

CVPR2023 자율주행 세미나에서 양대 기술 대기업인 Tesla와 Wayve가 블랙 기술을 선보였으며, 자율주행 분야에서는 "Generative World Model"이라는 새로운 개념이 인기를 끌었습니다. Wayve는 GAIA-1 생성 AI 모델을 출시하여 놀라운 비디오 장면 생성 기능을 시연했습니다. 최근 중국과학원 자동화 연구소의 연구원들은 최초로 다중 시점 예측 세계 모델을 실현하고 현재 주류 엔드와 원활하게 통합되는 새로운 자율 주행 세계 모델인 Drive-WM을 제안했습니다. 철저한 자율주행 플래너 .

Drive-WM은 확산 모델의 강력한 생성 기능을 활용하여 사실적인 비디오 장면을 생성합니다.

당신이 운전하고 있고 온보드 시스템이 운전 습관과 도로 상황을 기반으로 미래의 발전을 예측하고 그에 따른 시각적 피드백을 생성하여 궤적 경로 선택을 안내한다고 상상해 보세요. 미래를 예측하는 능력과 플래너의 결합으로 자율주행의 안전성이 크게 향상될 것입니다!

다시점 세계 모델을 기반으로 예측하고 계획합니다. 월드 모델과 엔드투엔드 자율주행의 결합으로 운전 안전성 향상

Drive-WM 모델이 세계를 가져옵니다. 모델과 엔드투엔드 계획의 결합으로 엔드투엔드 발전의 새로운 장을 엽니다. -자율주행을 종료합니다. 각 시간 단계에서 플래너는 세계 모델을 사용하여 가능한 미래 시나리오를 예측한 다음 이미지 보상 기능을 사용하여 이를 완전히 평가할 수 있습니다.

월드 모델을 기반으로 한 엔드 투 엔드 궤적 계획 트리를 다시 작성할 수 있습니다.

Drive-WM은 혁신적인 연구를 통해 엔드 투 엔드 계획에서 세계 모델의 두 가지 적용을 탐구합니다

1. OOD 시나리오에 직면하여 세계 모델의 견고성을 보여줍니다. 비교 실험을 통해 저자는 현재의 엔드 투 엔드 기획자의 성능이 OOD 상황에 직면했을 때 이상적이지 않다는 것을 발견했습니다.

작가는 다음 그림을 제공합니다. 초기 위치에 약간의 측면 오프셋이 교란되면 현재 엔드 투 엔드 플래너는 합리적인 계획 경로를 출력하는 데 어려움을 겪습니다.

엔드 투 엔드 기획자는 OOD 상황에 직면했을 때 합리적인 계획 경로를 출력하는 데 어려움을 겪습니다.

Drive-WM의 강력한 발전 능력은 OOD 문제 해결을 위한 새로운 아이디어를 제공합니다. 작성자는 생성된 비디오를 사용하여 플래너를 미세 조정하고 OOD 데이터로부터 학습하여 플래너가 이러한 시나리오에 직면할 때 더 나은 성능을 발휘할 수 있도록 합니다

2 이는 향후 시나리오 평가의 도입이 매우 중요하다는 것을 보여줍니다. end-to-end 기획의 강화 효과

다시점 영상 생성 모델 구축 방법

다시점 영상 생성의 시공간적 일관성은 항상 어려운 문제였습니다. Drive-WM은 순차 레이어 코딩을 도입하여 비디오 생성 기능을 확장하고 뷰 분해 모델링을 통해 다시점 비디오 생성을 달성합니다. 이러한 뷰 분해 생성 방법은 뷰 간의 일관성을 크게 향상시킬 수 있습니다

Drive-WM 전체 모델 설계

고품질 비디오 생성 및 제어 가능성

Drive -WM은 고품질 비디오 생성을 가능하게 합니다. 뛰어난 제어성을 갖춘 멀티뷰 비디오 생성. 텍스트, 장면 레이아웃, 모션 정보를 통해 멀티뷰 비디오 생성을 제어할 수 있는 다양한 제어 옵션을 제공합니다. 또한 텍스트를 사용하여 날씨와 모션을 변경하는 등 미래의 신경 시뮬레이터에 새로운 가능성을 제공합니다. 조명: ​​

예를 들어 보행자 생성 및 전경 편집:

속도 및 방향 제어 방법 사용:

교차로에서 회전하거나 옆 잔디로 운전하는 등 희귀한 이벤트를 생성합니다.

결론

Drive-WM은 강력한 다시점 비디오 생성 기능을 보여줄 뿐만 아니라 월드 모델과 엔드 투 엔드 주행 모델을 결합할 수 있는 큰 잠재력을 보여줍니다. 우리는 미래에 월드 모델이 더욱 안전하고 안정적이며 신뢰할 수 있는 엔드 투 엔드 자율 주행 시스템을 달성하는 데 도움이 될 수 있다고 믿습니다.

위 내용은 미래로 여행을 떠나다, 최초의 멀티뷰 예측+계획 자율주행 세계 모델 등장의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!