모든 방법보다 낫습니다! HIMap: 엔드투엔드 벡터화된 HD 맵 구축

벡터화된 고화질(HD) 지도를 구축하려면 지도 요소(예: 도로 경계, 차선 구분선, 횡단보도 등)의 범주 및 지점 좌표를 예측해야 합니다. 최첨단 방법은 정확한 점 좌표를 회귀하기 위한 점 수준 표현 학습을 주로 기반으로 합니다. 그러나 이 파이프라인은 요소 수준 정보를 얻고 잘못된 요소 모양이나 요소 간 얽힘과 같은 요소 수준 오류를 처리하는 데 한계가 있습니다. 위의 문제를 해결하기 위해 본 논문에서는 포인트 수준 및 요소 수준 정보를 완벽하게 학습하고 상호 작용할 수 있는 간단하고 효과적인 HybrId 프레임워크인 HIMap을 제안합니다.

구체적으로는 모든 맵 요소를 표현하기 위해 HIQuery라는 하이브리드 표현이 도입되었으며, 포인트 위치, 요소 모양 등 요소의 하이브리드 정보를 대화형으로 추출하기 위해 포인트 요소 인터랙터를 제안하고 이를 HIQuery로 인코딩합니다. 또한 포인트 수준 정보와 요소 수준 정보 간의 일관성을 향상시키기 위해 포인트 요소 일관성 제약 조건도 제안됩니다. 마지막으로 통합 HIQuery의 출력 포인트 요소는 지도 요소의 클래스, 포인트 좌표 및 마스크로 직접 변환될 수 있습니다. nuScenes 및 Argoverse2 데이터 세트에 대해 광범위한 실험이 수행되어 이전 방법보다 일관되게 우수한 결과를 보여줍니다. 이 방법은 nuScenes 데이터세트에서 77.8mAP를 달성했다는 점에 주목할 가치가 있습니다. 이는 이전 SOTA보다 최소 8.3mAP만큼 훨씬 더 좋습니다!

논문 이름: HIMap: HybrId Representation Learning for End-to-end Vectorized HD Map Construction

논문 링크: https://arxiv.org/pdf/2403.08639.pdf

HIMap은 먼저 HIQuery라는 하이브리드를 도입하여 모든 지도를 나타냅니다. 지도의 요소. 이는 BEV 기능과 상호 작용하여 반복적으로 업데이트하고 개선할 수 있는 학습 가능한 매개변수 세트입니다. 그런 다음, 맵 요소(예: 포인트 위치, 요소 모양)의 하이브리드 정보를 HIQuery로 인코딩하고 포인트 요소 상호 작용을 수행하도록 다층 하이브리드 디코더가 설계되었습니다(그림 2 참조). 하이브리드 디코더의 각 계층에는 포인트 요소 상호작용기, self-attention 및 FFN이 포함됩니다. 포인트-요소 인터랙터 내부에는 포인트 수준과 요소 수준 정보의 교환을 실현하고 단일 수준 정보의 학습 편향을 피하기 위해 상호 상호 작용 메커니즘이 구현됩니다. 마지막으로 통합된 HIQuery의 출력 포인트 요소는 요소의 포인트 좌표, 클래스 및 마스크로 직접 변환될 수 있습니다. 또한 포인트 수준 정보와 요소 수준 정보 간의 일관성을 향상시키기 위해 포인트 요소 일관성 제약 조건도 제안됩니다.

HIMap 프레임워크 개요

HIMap의 전체 프로세스는 그림 3(a)에 나와 있습니다. HIMap은 다중 뷰 카메라의 RGB 이미지, LiDAR의 포인트 클라우드 또는 다중 모드 데이터와 같은 다양한 항공 센서 데이터와 호환됩니다. 여기서는 HIMap의 작동 방식을 설명하기 위해 다중 뷰 RGB 이미지를 예로 들어 보겠습니다.

BEV Feature Extractor는 멀티뷰 RGB 이미지에서 BEV 특징을 추출하는 도구입니다. 그 핵심에는 각 관점에서 다중 스케일 2D 형상의 백본 부분을 추출하고, 다중 스케일 형상을 융합 및 개선하여 단일 스케일 형상의 FPN 부분을 얻고, 2D에서 BEV 형상 변환 모듈을 활용하여 2D 형상을 BEV로 매핑하는 것이 포함됩니다. 특징. . 이 프로세스는 이미지 정보를 처리 및 분석에 더 적합한 BEV 기능으로 변환하여 기능의 유용성과 정확성을 향상시키는 데 도움이 됩니다. 이 방법을 통해 우리는 다시점 이미지의 정보를 더 잘 이해하고 활용할 수 있어 후속 데이터 처리 및 의사 결정에 대한 보다 강력한 지원을 제공할 수 있습니다.

HIQuery: 맵 요소의 포인트 수준 및 요소 수준 정보를 완벽하게 학습하기 위해 맵의 모든 요소를 ​​나타내는 HIQuery가 도입되었습니다!

하이브리드 디코더: 하이브리드 디코더는 HIQuery Qh와 BEV 기능 X를 반복적으로 상호 작용하여 통합 HIQuery를 생성합니다.

포인트 요소 인터랙터의 목표는 맵 요소의 포인트 수준 및 요소 수준 정보를 대화형으로 추출하여 HIQuery로 인코딩하는 것입니다. 두 가지 수준의 정보가 상호 작용하는 동기는 상호 보완성에서 비롯됩니다. 포인트 수준 정보에는 지역 위치 지식이 포함되는 반면, 요소 수준 정보는 전역 모양과 의미 지식을 제공합니다. 따라서 이러한 상호 작용을 통해 지도 요소의 로컬 및 글로벌 정보를 상호 개선할 수 있습니다.

각각 지역 정보와 전역 정보에 초점을 맞춘 포인트 수준 표현과 요소 수준 표현의 원래 차이점을 고려하면, 두 수준 표현의 학습도 서로 간섭할 수 있습니다. 이는 정보 상호 작용의 어려움을 증가시키고 정보 상호 작용의 효율성을 감소시킵니다. 따라서 각 포인트 수준과 요소 수준 정보 간의 일관성을 높이기 위해 포인트 요소 일관성 제약 조건을 도입하고 요소 식별성도 향상시킬 수 있습니다!

실험 결과 비교

논문에서는 NuScenes Dataset과 Argoverse2 Dataset을 대상으로 실험을 진행했습니다!

nuScenes val-set의 SOTA 모델 비교:

Argoverse2 val-set의 SOTA 모델 비교:

nuScenes 검증 세트 다중 모달 데이터에서 SOTA 모델과 비교:

더 많은 절제 실험: