DiffMap: 고정밀 지도 구성을 향상시키기 위해 LDM을 사용하는 최초의 네트워크

논문 제목:

DiffMap: 확산 모델을 사용하여 지도 사전으로 지도 분할 강화

논문 작성자:

Peijin Jia, Tuopu Wen, Ziang Luo, Mengmeng Yang, Kun Jiang, Zhiquan 나, Xuewei Tang, Ziyuan Liu, Le Cui, Kehua Sheng, Bo Zhang, Diange Yang

01 배경 소개

자가 운전 차량의 경우 고화질(HD) 지도는 환경에 대한 이해를 높이는 데 도움이 될 수 있습니다. (지각) ) 정확도 및 탐색 정밀도. 그러나 수동 매핑은 복잡성과 높은 비용 문제에 직면해 있습니다. 이를 위해 본 연구에서는 지도 구축을 BEV(조감도) 인식 작업에 통합합니다. BEV 공간에서 래스터화된 HD 지도를 구축하는 것은 분할 작업으로 간주되며 이는 FCN과 유사한 사용을 추가하는 것으로 이해될 수 있습니다. (전체 볼륨) 제품 네트워크의 BEV 기능 분할 헤드를 획득한 후). 예를 들어 HDMapNet은 LSS(Lift, Splat, Shoot)를 통해 센서 기능을 인코딩한 다음 의미론적 분할, 인스턴스 감지 및 방향 예측을 위해 다중 해상도 FCN을 사용하여 지도를 작성합니다.

그러나 현재 이러한 방법(픽셀 기반 분류 방법)에는 특정 분류 속성을 무시할 가능성을 포함하여 중앙값의 왜곡 및 중단, 흐릿한 횡단보도 및 기타 유형의 인공물 및 그림 1(a)에 표시된 것처럼 잡음. 이러한 문제는 지도의 구조적 정확성에 영향을 미칠 뿐만 아니라 자율주행 시스템의 하류 경로 계획 모듈에도 직접적인 영향을 미칠 수 있습니다.

▲ 그림 1｜HDMapNet, DiffMap 및 GroundTruth의 효과 비교

따라서 모델에서는 평행, 직선 등 HD 맵의 구조적 사전 정보를 고려하는 것이 가장 좋습니다. 차선의 특징. 일부 생성 모델에는 이미지의 진정성과 고유한 특성을 포착하는 능력이 있습니다. 예를 들어, LDM(Latent Diffusion Model)은 충실도가 높은 이미지 생성에서 큰 잠재력을 보여주었으며 분할 향상과 관련된 작업에서 그 효율성이 입증되었습니다. 또한 특정 제어 요구 사항을 충족하도록 이미지 생성을 추가로 안내하기 위해 제어 변수를 도입할 수 있습니다. 따라서 생성 모델을 적용하여 지도 구조 사전 캡처를 수행하면 분할 아티팩트가 줄어들고 지도 구성 성능이 향상될 것으로 예상됩니다.

이 기사에서 저자는 DiffMap 네트워크를 언급했습니다. 이 네트워크는 처음으로 기존 분할 모델에 대해 맵 구조의 사전 모델링을 수행하고 향상된 LDM을 향상 모듈로 사용하여 플러그 앤 플레이를 지원합니다. DiffMap은 출력이 현재 프레임 관찰과 일치하는지 확인하기 위해 노이즈를 추가 및 제거하는 프로세스를 통해 사전에 맵을 학습할 뿐만 아니라 BEV 기능을 제어 신호로 통합하여 출력이 현재 프레임 관찰과 일치하는지 확인할 수도 있습니다. 실험 결과에 따르면 DiffMap은 아티팩트를 크게 줄이고 전체 맵 구성 성능을 향상시키면서 더욱 부드럽고 합리적인 맵 분할 결과를 효과적으로 생성할 수 있음을 보여줍니다.

02 관련 작업

2.1 의미 지도 구성

전통적인 고화질(HD) 지도 구성에서 의미 지도는 일반적으로 라이더 포인트 클라우드를 기반으로 수동 또는 반자동으로 주석이 추가됩니다. 일반적으로 SLAM 알고리즘을 기반으로 전 세계적으로 일관된 맵이 구성되고 의미 주석이 맵에 수동으로 추가됩니다. 그러나 이 접근 방식은 시간이 많이 걸리고 노동 집약적이며 지도를 업데이트하는 데 심각한 문제가 발생하여 확장성과 실시간 성능이 제한됩니다.

HDMapNet은 온보드 센서를 사용하여 로컬 의미 지도를 동적으로 구축하는 방법을 제안합니다. LiDAR 포인트 클라우드와 파노라마 이미지 특징을 BEV(조감도) 공간으로 인코딩하고 세 가지 다른 헤드를 사용하여 디코딩하여 궁극적으로 벡터화된 로컬 의미 지도를 생성합니다. SuperFusion은 장거리 고정밀 의미 체계 맵 구축, LiDAR 깊이 정보를 사용하여 이미지 깊이 추정 향상, 이미지 특징을 사용하여 장거리 LiDAR 특징 예측을 안내하는 데 중점을 둡니다. 그런 다음 HDMapNet과 유사한 지도 감지 헤드를 사용하여 의미 지도를 얻습니다. MachMap은 작업을 폴리라인 감지와 폴리곤 인스턴스 분할로 나누고 후처리를 통해 마스크를 미세 조정하여 최종 결과를 얻습니다. 후속 연구는 벡터화된 고화질 지도를 직접 얻기 위한 엔드투엔드 온라인 매핑에 중점을 둡니다. 수동 주석 없이 의미 지도를 동적으로 구성하면 구축 비용이 효과적으로 절감됩니다.

2.2 분할 및 탐지에 적용되는 확산 모델

Denoising Diffusion Probabilistic Models(DDPM)은 Markov Chain을 기반으로 한 생성 모델의 일종으로, 이미지 생성 등의 영역에서 탁월한 성능을 발휘하며 점차 확장됩니다. 세분화, 탐지 등 다양한 작업에 활용됩니다. SegDiff는 확산 모델을 이미지 분할 작업에 적용합니다. 여기서 사용된 UNet 인코더는 E, F 및 G의 세 가지 모듈로 추가로 분리됩니다. 모듈 G와 F는 입력 이미지 I와 분할 맵을 각각 인코딩한 다음 E에서 추가적으로 병합하여 분할 맵을 반복적으로 개선합니다. DDPMS는 기본 분할 모델을 사용하여 초기 예측 사전을 생성하고 확산 모델을 사용하여 사전을 개선합니다. DiffusionDet은 확산 모델을 대상 감지 프레임워크로 확장하여 대상 감지를 노이즈 상자에서 대상 상자까지의 노이즈 제거 확산 프로세스로 모델링합니다.

거리 장면을 합성하기 위해 기하학적 제약을 사용하는 MagicDrive, 확산 모델을 다중 에이전트 모션 예측 문제로 확장하는 Motiondiffuser 등 확산 모델은 자율 주행 분야에서도 사용됩니다.

2.3 지도 사전

현재 사전 정보(명시적 표준 지도 정보 및 암시적 시간 정보 포함) 불확실성을 활용하여 모델 견고성을 강화하고 차량 센서 부하를 줄이는 여러 가지 방법이 있습니다. MapLite2.0은 표준 화질(SD) 사전 지도를 출발점으로 삼아 이를 온보드 센서와 결합하여 로컬 고화질 지도를 실시간으로 추론합니다. MapEx와 SMERF는 표준 지도 데이터를 활용하여 차선 인식과 위상학적 이해를 향상시킵니다. SMERF는 Transformer 기반의 표준 지도 인코더를 채택하여 차선 및 차선 유형을 인코딩한 후, 표준 지도 정보와 센서 기반 조감도(BEV) 기능 간의 교차 관심을 계산하여 표준 지도 정보를 통합합니다. NMP는 과거 지도의 이전 데이터와 현재 인식 데이터를 결합하여 자율주행차에 장기 메모리 기능을 제공합니다. MapPrior는 판별 모델과 생성 모델을 결합하여 예측 단계에서 기존 모델을 기반으로 생성된 예비 예측을 사전 예측으로 인코딩하고 생성 모델의 이산 잠재 공간을 주입한 다음 생성 모델을 사용하여 예측을 개선합니다. PreSight는 이전 여행의 데이터를 사용하여 도시 규모의 신경 방사선장을 최적화하고 신경 사전 정보를 생성하며 후속 탐색에서 온라인 인식을 향상시킵니다.

03 방법 분석

3.1 준비

3.2 전체 아키텍처

그림 2와 같습니다. 디코더로서 DiffMap은 확산 모델을 시맨틱 맵 분할 모델에 통합합니다. 이 모델은 주변 다중 뷰 이미지와 LiDAR 포인트 클라우드를 입력으로 사용하여 이를 BEV 공간으로 인코딩하고 융합된 BEV 기능을 얻습니다. 그런 다음 DiffMap을 디코더로 사용하여 분할 맵을 생성합니다. DiffMap 모듈에서 BEV 기능은 잡음 제거 프로세스를 안내하는 조건으로 사용됩니다.

▲ 그림 2｜DiffMap 아키텍처 ©️[Deep Blue AI] 컴파일

◆시맨틱 맵 구성을 위한 기준선: 기준선은 주로 BEV 인코더-디코더 패러다임을 따릅니다. 인코더 부분은 입력 데이터(LiDAR 및/또는 카메라 데이터)에서 특징을 추출하고 이를 고차원 표현으로 변환하는 역할을 합니다. 동시에 디코더는 일반적으로 고차원 특징 표현을 해당 분할 맵에 매핑하는 분할 헤드 역할을 합니다. 기준선은 전체 프레임워크에서 감독자와 컨트롤러라는 두 가지 주요 역할을 수행합니다. 감독자로서 기준선은 보조 감독으로 분할 결과를 생성합니다. 동시에 컨트롤러로서 중간 BEV 특성을 조건부 제어 변수로 제공하여 확산 모델의 생성 과정을 안내합니다.

◆DiffMap 모듈: LDM에 이어 저자는 기본 프레임워크의 디코더로 DiffMap 모듈을 소개합니다. LDM은 주로 이미지 인식 압축 모듈(예: VQVAE)과 UNet을 사용하여 구축된 확산 모델의 두 부분으로 구성됩니다. 먼저, 인코더는 지도 분할 실측 정보를 잠재 공간으로 인코딩합니다. 잠재 공간은 잠재 공간의 낮은 차원을 나타냅니다. 이후 저차원 잠재변수 공간에서 확산과 노이즈 제거를 수행하고 디코더를 사용하여 잠재공간을 원래의 픽셀 공간으로 복원한다.

먼저 확산 과정을 통해 노이즈를 추가하고 각 시간 단계에서 노이즈 전위 맵을 얻습니다. 그런 다음 잡음 제거 프로세스 중에 UNet은 잡음 예측을 위한 백본 네트워크 역할을 합니다. 분할 결과의 감독 부분을 강화하기 위해 DiffMap 모델이 훈련 중 인스턴스 관련 예측에 대한 의미론적 특징을 직접 제공할 것으로 기대됩니다. 따라서 저자는 UNet 네트워크 구조를 두 개의 가지로 나누고, 한 가지는 전통적인 확산 모델과 같은 잡음을 예측하는 데 사용되고 다른 가지는 잠재 공간의 잡음을 예측하는 데 사용됩니다.

그림 3과 같습니다. 잠재 맵 예측을 얻은 후 의미론적 특징 맵으로 원래 픽셀 공간으로 디코딩됩니다. 그런 다음 HDMapNet에서 제안한 방법에 따라 인스턴스 예측을 얻을 수 있으며 의미론적 분할, 인스턴스 임베딩 및 차선 방향의 세 가지 다른 헤드에 대한 예측이 출력될 수 있습니다. 그런 다음 이러한 예측은 지도를 벡터화하기 위한 후처리 단계에서 사용됩니다.

▲그림 3│노이즈 제거 모듈

전체 과정은 조건부 생성 과정으로, 현재 센서 입력을 기준으로 지도 분할 결과를 얻습니다. 결과의 확률분포는 다음과 같이 모델링할 수 있다. 여기서는 지도분할 결과를 나타내고, 조건제어변수, 즉 BEV 특징을 나타낸다. 저자는 여기서 제어변수를 통합하기 위해 두 가지 방법을 사용한다. 먼저, BEV와 BEV 특징은 공간 영역에서 동일한 카테고리와 규모를 갖기 때문에 잠재 공간 크기에 맞게 조정된 다음 방정식 5와 같이 잡음 제거 프로세스의 입력으로 연결됩니다.

두 번째로 교차 주의 메커니즘은 UNet 네트워크의 각 계층에 키/값 및 쿼리로 통합됩니다. 교차 주의 모듈의 공식은 다음과 같습니다.

3.3 구체적인 구현

◆훈련:

◆추론:

04 실험

nuScenes 데이터 세트에서 DiffMap을 검증합니다. nuScenes 데이터세트에는 다중 뷰 이미지와 1000개 장면의 포인트 클라우드가 포함되어 있으며, 그 중 700개 장면은 훈련용, 150개 장면은 검증용, 150개 장면은 테스트용으로 사용됩니다. nuScenes 데이터세트에는 주석이 달린 HD 맵 의미 라벨도 포함되어 있습니다.

ResNet-101을 카메라 브랜치의 백본 네트워크로 사용하고, PointPillars를 모델의 LiDAR 브랜치 백본 네트워크로 사용합니다. 기본 모델의 분할 헤드는 ResNet-18 기반 FCN 네트워크입니다. 오토인코더의 경우 VQVAE가 사용되며, 모델은 nuScenes 분할 지도 데이터 세트에서 사전 학습되어 지도 특징을 추출하고 지도를 기본 잠재 공간으로 압축합니다. 마지막으로 UNet은 확산 네트워크를 구축하는 데 사용됩니다.

AdamW 최적화 프로그램을 사용하여 30세대 동안 VQVAE 모델을 훈련합니다. 사용된 학습률 스케줄러는 LambdaLR이며, 붕괴 계수가 0.95인 지수 붕괴 모드에서 학습률을 점진적으로 감소시킵니다. 초기 학습률은 로 설정되고 배치 크기는 8입니다. 그런 다음 확산 모델은 초기 학습 속도 2e-4로 30세대 동안 AdamW 최적화 프로그램을 사용하여 처음부터 학습되었습니다. MultiStepLR 스케줄러가 채택되어 지정된 마일스톤 시점(0.7, 0.9, 1.0)에 따라 학습 속도를 조정하고 다양한 훈련 단계에서 1/3의 배율 인수를 조정합니다. 마지막으로 BEV 분할 결과는 0.15m의 해상도로 설정되고 LiDAR 포인트 클라우드는 복셀화됩니다. HDMapNet의 감지 범위는 [-30m, 30m]×[-15m, 15m]m이므로 해당 BEV 맵 크기는 400×200인 반면 Superfusion은 [0m, 90m]×[-15m, 15m]를 사용하여 600을 얻습니다. × 200개 결과. LDM의 차원 제약(VAE 및 UNet의 8배 다운샘플링)으로 인해 의미론적 지상 실제 맵의 크기를 64의 배수로 채워야 합니다.

현재 BEV 기능 조건에서 노이즈 맵에 대해 노이즈 제거 과정을 20회 수행하여 예측 결과를 얻습니다. 3개 샘플의 평균이 최종 예측 결과로 사용됩니다.

주로 지도 의미 분할 및 인스턴스 감지 작업에 대해 평가됩니다. 그리고 주로 차선 경계, 차선 구분선, 횡단보도라는 세 가지 정적 지도 요소에 중점을 둡니다.

표 1은 의미 맵 분할에 대한 IoU 점수 비교를 보여줍니다. DiffMap은 모든 간격에서 상당한 개선을 보여주며 특히 차선 분리대와 횡단보도에서 최상의 결과를 달성합니다.

표 2에서 볼 수 있듯이 DiffMap 방법은 평균 정밀도(AP)도 크게 향상되어 DiffMap의 효율성을 검증합니다.

표 3에서 볼 수 있듯이 DiffMap 패러다임이 HDMapNet에 통합되면 카메라만 사용하든 카메라-라이다 융합 방식을 사용하든 DiffMap이 HDMapNet의 성능을 향상시킬 수 있음을 관찰할 수 있습니다. 이는 DiffMap 방법이 장거리 및 단거리 감지를 포함한 다양한 분할 작업에 효과적임을 보여줍니다. 그러나 경계의 경우 경계의 모양 구조가 고정되어 있지 않고 예측할 수 없는 왜곡이 많아 사전 구조적 특징을 포착하기 어렵기 때문에 DiffMap이 제대로 수행되지 않습니다.

▲표 3│정량 분석 ​​결과

4.4 Ablation 실험

표 4는 VQVAE의 다양한 다운샘플링 인자가 검출 결과에 미치는 영향을 보여줍니다. 다운샘플링 인자가 4, 8, 16일 때 DiffMap의 동작을 분석하면 다운샘플링 인자를 8x로 설정할 때 가장 좋은 결과를 얻을 수 있음을 알 수 있습니다.

▲표 4│Ablation 실험 결과

또한 저자는 Table 5와 같이 인스턴스 관련 예측 모듈 삭제가 모델에 미치는 영향도 측정했습니다. 실험에 따르면 이 예측을 추가하면 IOU가 더욱 향상되는 것으로 나타났습니다.

▲표 5│Ablation 실험 결과(예측 모듈 포함 여부)

4.5 시각화

그림 4는 복잡한 장면에서 DiffMap과 기준선(HDMapNet-fusion)의 비교를 보여줍니다. 기준선 분할 결과는 요소 내의 모양 속성과 일관성을 무시한다는 것이 분명합니다. 이와 대조적으로 DiffMap은 이러한 문제를 수정하여 맵 사양에 잘 맞는 분할 출력을 생성하는 기능을 보여줍니다. 특히 (a), (b), (d), (e), (h) 및 (l)의 경우 DiffMap은 부정확하게 예측된 횡단보도를 효과적으로 수정합니다. (c), (d), (h), (i), (j) 및 (l)의 경우 DiffMap은 부정확한 경계를 완성하거나 제거하여 결과를 현실적인 경계 형상에 더 가깝게 만듭니다. 또한 (b), (f), (g), (h), (k) 및 (l)의 경우 DiffMap은 선이 끊어지는 문제를 해결하고 인접한 요소의 병렬성을 보장합니다.

▲그림 4｜정성적 분석 결과

05 요약 및 향후 전망

본 논문에서 저자가 설계한 DiffMap 네트워크는 잠재 확산 모델을 사용하여 지도 구조 사전 학습을 수행하는 새로운 방법으로, 이로써 전통적인 지도 분할 모델이 채택되었습니다. 이 방법은 모든 지도 분할 모델의 보조 도구로 사용할 수 있으며 원거리 및 근거리 감지 시나리오 모두에서 예측 결과가 크게 향상됩니다. 이 방법은 확장성이 높기 때문에 다른 유형의 사전 정보를 연구하는 데 적합합니다. 예를 들어 SD 맵 사전을 DiffMap의 두 번째 모듈에 통합하여 성능을 향상시킬 수 있습니다. 벡터화된 지도 구축의 진전은 앞으로도 계속될 것으로 예상된다.