자율주행 분야에서는 BEV 기반 하위 작업/엔드 투 엔드 솔루션 개발, 고품질 다중 뷰 학습 데이터 및 이에 따른 시뮬레이션 장면 구성이 점점 더 중요해지고 있습니다. 현재 작업의 문제점에 대응하여 "고품질"은 세 가지 측면으로 분리될 수 있습니다.
시뮬레이션의 경우 위의 조건을 충족하는 영상 생성은 레이아웃을 통해 직접 생성할 수 있는데, 이는 의심할 여지없이 다중 에이전트 센서 입력을 구성하는 가장 직접적인 방법입니다. DrivingDiffusion은 위의 문제를 새로운 관점에서 해결합니다.
레이아웃 제어를 통한 다관점 이미지 생성
레이아웃 조정: 생성된 결과를 정밀하게 제어
레이아웃 제어 멀티뷰 비디오 생성
입력 프레임 + 텍스트 설명을 기반으로 후속 프레임 생성
입력 프레임을 기반으로 후속 프레임을 직접 생성
DrivingDiffusion은 먼저 장면의 모든 3D 실제 값(장애물/도로 구조)을 인위적으로 구성한 후 실제 값을 레이아웃 이미지에 투영한 후 다중 카메라에서 실제 이미지/비디오를 얻기 위한 모델 입력으로 사용됩니다. 관점. 3D 참값(BEV 뷰 또는 인코딩된 인스턴스)을 모델 입력으로 직접 사용하지 않고 사후 투영 입력에 매개변수를 사용하는 이유는 체계적인 3D-2D 일관성 오류를 제거하기 위한 것입니다. (이러한 데이터 집합에서 3D 참값과 차량 매개변수는 실제 필요에 따라 인위적으로 구성됩니다. 전자는 희귀한 장면 데이터를 마음대로 구성할 수 있는 기능을 가져오고 후자는 전통적인 데이터 생성 오류를 제거합니다. 기하학적 일관성 )
이제 아직 한 가지 질문이 남아 있습니다. 생성된 이미지/비디오의 품질이 사용 요구 사항을 충족할 수 있습니까? 시나리오를 구성할 때 누구나 시뮬레이션 엔진을 사용하는 것을 떠올리곤 합니다. 그러나 그것이 생성하는 데이터와 실제 데이터 사이에는 큰 영역 차이가 있습니다. GAN 기반 방법으로 생성된 결과는 실제 실제 데이터의 분포와 편향되는 경우가 많습니다. 확산 모델은 노이즈를 학습하여 데이터를 생성하는 마르코프 체인의 특성을 기반으로 생성된 결과의 충실도가 높아 실제 데이터를 대체하는 데 더 적합합니다. DrivingDiffusion은인위적으로 구성된 장면 및 차량 매개변수를 기반으로 순차적 다중 뷰 뷰를 직접 생성합니다. 이는 다운스트림 자율 주행 작업을 위한 훈련 데이터로 사용될 수 있을 뿐만 아니라 자율 주행에 대한 피드백을 위한 시뮬레이션 시스템을 구축할 수도 있습니다. 운전 알고리즘.
여기서 "인공적으로 구성된 장면"에는 장애물과 도로 구조 정보만 포함되어 있지만 DrivingDiffusion의 프레임워크는 간판, 신호등, 공사 구역과 같은 레이아웃 정보는 물론, 낮은 수준의 점유 그리드/깊이 지도와 같은 제어 모드까지 쉽게 도입할 수 있습니다.다시점 비디오를 생성할 때 몇 가지 어려움이 있습니다.
키프레임 제어 및 fine- 연산을 통해 단기 및 장기 시퀀스의 전체 일관성을 보장했습니다. 튜닝. 또한 DrivingDiffusion은 크로스 뷰/크로스 프레임 일관성 및 인스턴스 품질 문제를 각각 해결하는 Consistency Module과 Local Prompt를 제안했습니다.
DrivingDiffusion은 긴 비디오 프로세스를 생성합니다
일관성 모듈은 일관성 주의 메커니즘과 일관성 연관 손실의 두 부분으로 나뉩니다.
일관성 주의 메커니즘은 인접 뷰와 시간적으로 관련된 프레임 간의 상호 작용에 중점을 둡니다. 특히 프레임 간 일관성의 경우 시간 모델의 경우 중첩되는 왼쪽 및 오른쪽 인접 뷰 간의 정보 상호 작용에만 중점을 둡니다. 키 프레임과 이전 프레임에 초점을 맞춥니다. 이를 통해 전역 상호 작용으로 인한 막대한 계산 부하를 피할 수 있습니다.
일관적인 상관 손실은 픽셀별 상관 관계와 포즈 회귀를 통해 기하학적 제약 조건을 추가합니다. 포즈의 기울기는 사전 훈련된 포즈 회귀기에 의해 제공됩니다. 회귀자는 LoFTR을 기반으로 포즈 회귀 헤드를 추가하고 해당 데이터 세트의 실제 데이터에 대한 실제 포즈 값을 사용하여 학습합니다. 다중 뷰 모델 및 시계열 모델의 경우 이 모듈은 카메라 상대 포즈와 주요 차량 모션 포즈를 각각 감독합니다.
Local Prompt 및 Global Prompt는 함께 작동하여 CLIP 및 stable-diffusion-v1-4의 매개변수 의미를 재사용하여 특정 카테고리 인스턴스 영역에서 로컬 향상을 수행합니다. 그림에서 볼 수 있듯이 이미지 토큰과 전역 텍스트 설명 프롬프트의 교차 주의 메커니즘을 기반으로 작성자는 특정 카테고리에 대한 로컬 프롬프트를 디자인하고 해당 카테고리의 마스크 영역에 있는 이미지 토큰을 사용하여 로컬 프롬프트를 쿼리합니다. 즉각적인. 이 프로세스는 원래 모델 매개변수의 오픈 도메인에서 텍스트 기반 이미지 생성 개념을 최대한 활용합니다.
미래 장면 구성 작업을 위해 DrivingDiffusion-Future는 두 가지 방법을 사용합니다. 하나는 첫 번째 프레임 이미지에서 직접 후속 프레임 이미지(시각적 분기)를 예측하는 것이고, 프레임 광학 흐름을 보조 손실로 간주합니다. 이 방법은 비교적 간단하지만 텍스트 설명을 기반으로 후속 프레임을 생성하는 효과는 평균적입니다. 또 다른 방법은 전자를 기반으로 새로운 개념의 브랜치를 추가하는 것인데, 이는 첫 번째 프레임의 BEV 뷰를 통해 후속 프레임의 BEV 뷰를 예측하는 것입니다. 이는 BEV 뷰 예측이 모델이 주행의 핵심 정보를 포착하는 데 도움이 되기 때문입니다. 장면을 만들고 개념을 확립합니다. 이때, 텍스트 설명은 두 가지 Branch에 동시에 작용하며, BEV2PV의 원근 변환 모듈을 통해 개념 가지의 특성이 시각적 가지에 작용합니다. 노이즈 입력을 대체하기 위한 참값 이미지(및 후속 훈련 중 동결). 주 차량 제어 텍스트 설명 컨트롤러와 다른 차량 제어/환경 텍스트 설명 컨트롤러가 분리되어 있다는 점에 주목할 필요가 있습니다.
모델의 성능을 평가하기 위해 DrivingDiffusion은 프레임 수준 FID(Fréchet Inception Distance)를 사용하여 생성된 이미지의 품질을 평가하고, 이에 따라 FVD를 사용하여 생성된 비디오의 품질을 평가합니다. 모든 지표는 nuScenes 검증 세트에서 계산됩니다. 표 1에서 볼 수 있듯이 자율 주행 시나리오의 이미지 생성 작업 BEVGen 및 비디오 생성 작업 DriveDreamer와 비교하여 DrivingDiffusion은 다양한 설정에서 성능 지표에서 더 큰 이점을 갖습니다.
FID와 같은 방법은 이미지 합성 품질을 측정하는 데 자주 사용되지만 작업의 설계 목표를 완전히 피드백하지도 않고 다양한 의미 범주에 대한 합성 품질을 반영하지도 않습니다. 작업이 3D 레이아웃과 일치하는 다중 뷰 이미지를 생성하는 데 전념하기 때문에 DrivingDiffuison은 BEV 지각 모델 측정법을 사용하여 일관성 측면에서 성능을 측정할 것을 제안합니다. CVT 및 BEVFusion의 공식 모델을 평가자로 사용하고 동일한 실제 3D를 사용합니다. nuScenes 검증 세트로 모델 레이아웃에 따라 조건부로 이미지를 생성하고 생성된 각 이미지 세트에 대해 CVT 및 BevFusion 추론을 수행한 다음 예측 결과를 운전 가능 영역의 mIoU(평균 교차점) 점수를 포함하여 실제 결과와 비교합니다. 모든 객체 클래스의 NDS는 표 2에 나와 있습니다. 실험 결과, 합성 데이터 평가 세트의 인식 지표는 실제 평가 세트의 인식 지표와 매우 유사하며, 이는 생성된 결과와 3D 참값의 높은 일관성과 이미지 품질의 높은 충실도를 반영합니다.
위의 실험 외에도 DrivingDiffusion은 해결된 주요 문제인 자율 주행 후속 작업의 성능을 향상시키기 위해 합성 데이터 훈련을 추가하는 실험을 수행했습니다. 표 3은 BEV 인식 작업에서 합성 데이터 증강을 통해 달성된 성능 향상을 보여줍니다. 원본 훈련 데이터에는 특히 작은 목표, 근거리 차량 및 차량 방향 각도의 경우 롱테일 분포에 문제가 있습니다. DrivingDiffusion은 이 문제를 해결하기 위해 제한된 샘플을 사용하여 이러한 클래스에 대한 추가 데이터를 생성하는 데 중점을 둡니다. 장애물 방향 각도 분포 개선에 초점을 맞춘 2000 프레임의 데이터를 추가한 후 NDS는 약간 개선된 반면 mAOE는 0.5613에서 0.5295로 크게 감소했습니다. 훈련을 지원하기 위해 보다 포괄적이고 희귀한 장면에 초점을 맞춘 6000 프레임의 합성 데이터를 사용한 후 nuScenes 검증 세트에서 상당한 향상을 볼 수 있습니다. NDS는 0.412에서 0.434로 증가하고 mAOE는 0.5613에서 0.5130으로 감소했습니다. 이는 합성 데이터의 데이터 증강이 인식 작업에 가져올 수 있는 상당한 개선을 보여줍니다. 사용자는 실제 필요에 따라 데이터의 다양한 차원의 분포에 대한 통계를 작성한 다음 이를 대상 합성 데이터로 보완할 수 있습니다.
DrivingDiffusion은 자율주행 장면의 다시점 영상 생성과 미래 예측 기능을 동시에 구현하는 기능으로 자율주행 작업에 큰 의미가 있습니다. 그 중 layout과 parameters는 모두 인위적으로 구성되었으며, 3D-2D 간의 변환은 학습 가능한 모델 매개변수에 의존하는 것이 아니라 투영을 통해 이루어지므로 이전 데이터 획득 과정에서 기하학적 오류를 제거하고 실용성이 뛰어납니다. 동시에 DrivingDiffuison은 확장성이 뛰어나고 새로운 장면 콘텐츠 레이아웃과 추가 컨트롤러를 지원하며 초해상도 및 비디오 프레임 삽입 기술을 통해 생성 품질을 손실 없이 향상시킬 수 있습니다.
자율주행 시뮬레이션에 있어서 네르프의 시도는 점점 늘어나고 있습니다. 그러나 스트리트 뷰 생성 작업에서 동적 콘텐츠와 정적 콘텐츠의 분리, 대규모 블록 재구성, 날씨 및 기타 차원의 외관 제어 분리 등으로 인해 Nerf는 종종 엄청난 양의 작업을 수행해야 합니다. 훈련 후에만 후속 시뮬레이션에서 새로운 관점 합성 작업을 지원할 수 있습니다. DrivingDiffusion은 시각적-텍스트 연결, 시각적 콘텐츠의 개념적 이해 등을 포함하여 사전에 어느 정도의 일반 지식을 자연스럽게 포함하고 있습니다. 레이아웃 구성만으로 필요에 따라 장면을 신속하게 생성할 수 있습니다. 그러나 위에서 언급한 것처럼 전체 프로세스가 상대적으로 복잡하고, 긴 동영상을 생성하려면 후처리 모델의 미세 조정 및 확장이 필요합니다. DrivingDiffusion은 계속해서 관점 차원과 시간 차원의 압축을 탐구할 뿐만 아니라 새로운 관점 생성 및 변환을 위해 Nerf를 결합하고 생성 품질과 확장성을 지속적으로 개선할 것입니다.
위 내용은 최초의 멀티뷰 자율주행 장면 영상 생성 세계 모델 DrivingDiffusion: BEV 데이터 및 시뮬레이션을 위한 새로운 아이디어 |의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
