처음으로 mAP 70% 이상 달성! GeMap: 로컬 고정밀 지도 SOTA가 다시 새로 고쳐졌습니다.

위 작성 및 저자의 개인적 이해

센서 데이터를 기반으로 벡터화된 고정밀 지도를 실시간으로 구축하는 것은 예측, 계획 등 후속 작업에 매우 중요하며 오프라인의 열악한 실시간 성능을 효과적으로 보완할 수 있습니다. 고정밀 지도. 딥러닝의 발전과 함께 온라인으로 벡터화된 고정밀 지도 구축이 점차 등장하고 있으며, HDMapNet, MapTR 등의 대표작들이 속속 등장하고 있습니다. 그러나 기존의 온라인 벡터화된 고정밀 지도 구성 방법에는 지도 요소의 기하학적 특성(요소의 모양, 수직, 평행 및 기타 기하학적 관계 포함)에 대한 탐색이 부족합니다.

벡터화된 고정밀 지도의 기하학적 특성

벡터화된 고정밀 지도는 도로의 요소를 고도로 추상화하고 각 지도 요소를 2차원 점 시퀀스로 나타냅니다. 도시 도로의 설계에는 특정 사양이 있습니다. 예를 들어, 대부분의 경우 보행자 횡단보도는 정사각형 직사각형 또는 평행사변형입니다. 분기 및 병합이 포함되지 않은 도로 구간에서는 인접한 두 차선이 서로 평행합니다. 고화질 지도의 다양한 요소에는 유사한 특성이 많이 있습니다. 이러한 상식적인 규칙은 지도 요소(직사각형, 평행사변형, 직선 등)의 모양을 포함하여 고정밀 지도의 기하학적 속성으로 추상화됩니다. ) 또는 요소 간의 서로 다른 지도 관계(평행, 수직 등). 기하학적 속성은 지도 요소의 표현을 강력하게 제한합니다. 온라인 모델 구성의 기하학적 속성을 완전히 이해하면 보다 정확한 결과를 얻을 수 있습니다.

고정밀 지도에 대한 기하학적 표현의 중요성 제안

이론적으로는 기존 모델이 지도 요소의 기하학적 속성을 학습하는 것이 여전히 가능하지만 기하학적 속성의 특성에 따라 적어도 전통적인 모델에서는 디자인, 모델은 배우기 쉽지 않습니다.

• 기하학적 특성의 불변

중앙 차량이 도로에서 직진하거나 차선을 변경하거나 회전할 때 지도 요소(차량 좌표계)의 절대 좌표가 계속 변경됩니다. 횡단보도, 차선, 도로 경계 등의 모양은 변경되지 않습니다. 마찬가지로 차선 간의 평행 관계도 변경되지 않습니다. 지도 요소의 기하학적 특성은 객관적이며 중요한 특징 중 하나는 불변성입니다. 보다 구체적으로 말하면 강성 불변성(회전 및 평행 이동 변환에 대해 불변성 유지)입니다. 단순한 폴리라인 표현을 사용하든, 제어점(예: 베지어 곡선, 조각별 베지어 곡선)이 있는 다항식 곡선을 사용하든 관계없이 이전 작업은 모두 절대 좌표를 기반으로 하며 엔드 투 엔드는 절대 좌표 최적화를 기반으로 합니다. 절대 좌표 기반의 최적화 목적 자체는 강인한 불변성을 가지지 않으므로 모델이 속하는 국소 최적해에 기하학적 특성에 대한 이해가 포함될 것이라고 기대하기 어렵습니다. 따라서 기하학적 특성을 완전히 특성화하고 일정한 불변성을 가질 수 있는 표현이 필요합니다.

그림 1. 기하학적 불변의 예.

차량이 우회전하면 절대 좌표가 크게 변경됩니다. 오른쪽 이미지는 해당 실제 시나리오를 보여줍니다.

• 기하학적 특성의 다양성

또한, 강력한 사전 지식에도 불구하고 도로의 기하학적 특성은 여전히 ​​다양합니다. 이러한 다양한 기하학적 속성은 일반적으로 두 가지 범주로 나눌 수 있습니다. 하나는 단일 지도 요소의 기하학적 모양에 관한 것이고, 다른 하나는 서로 다른 지도 요소의 기하학적 연관성에 관한 것입니다. 기하학적 특성의 다양성으로 인해 기하학적 특성을 구속조건으로 철저하고 수동으로 변환하는 것은 불가능하므로 모델이 다양한 기하학적 특성을 처음부터 끝까지 자율적으로 학습할 수 있는 것을 선호합니다. GeMap의 디자인

기하학적 표현

위의 두 가지 문제를 고려하여 먼저 표현 방법을 개선합니다. 우리는 다음 요구 사항을 충족해야 하는 전통적인 절대 좌표 기반 표현 외에도 좋은 기하학적 표현을 도입하기를 희망합니다.

모양을 설명할 수 있습니다. 맵 요소 강성

변환 불변
• 을 보장하기 위해 상대 수량, 즉 점 사이의 오프셋 벡터를 사용하여 회전 불변 을 더욱 보장하고
오프셋 벡터
• 의 길이를 선택합니다. 그리고 다른 오프셋 벡터 사이의 각도 . 길이와 각도라는 이 두 가지가 우리가 제안하는 기하학적 표현의 기초를 형성합니다. 또한 모양을 더 잘 구별 및 설명하고 서로 다른 두 가지 유형의 기하학적 특성을 연관시키기 위해 단순성의 원칙에 따라 디자인을 더욱 개선했습니다. 단일 맵 요소 사이의 오프셋 벡터를 계산하고 오프셋 벡터의 길이와 인접한 오프셋 벡터 사이의 각도
를 계산합니다. 이 표현은 모든 폴리라인/다각형을 고유하게 식별합니다. 두 이미지의 예는 다음과 같습니다.

기하학적 모양의 표현을 보여주는 그림 2를 보세요

직사각형의 경우 직선의 경우 직각과 두 쌍의 동일한 변을 사용하여 설명할 수 있으며 모든 끼인 각도는 0도 또는 180도입니다. .

연관을 특성화하기 위해 마찬가지로 먼저 두 점 사이의 거리를 고려합니다. 그러나 모든 점대점 오프셋 벡터에 대해 각도를 계산하면 표현의 복잡도가 너무 높아 계산 비용이 감당할 수 없을 정도로 커진다. 구체적으로 지도 요소가 총 개가 있고 각 요소가 점으로 표현된다고 가정하면 모든 각도에 대한 데이터의 양은 (1000개를 취하면 각 각도 데이터가 32비트 부동 소수점 숫자라고 가정하면, 표현은 단지 점유된 공간이 TB 수준에 도달할 것입니다). 실제로 이는 일반적인 수직, 평행 등의 관계에는 필요하지 않습니다. 따라서 우리는 먼저 요소 내부의 오프셋을 계산한 다음 기하학적 표현의 일부로 이러한 오프셋의 각 쌍 사이의 각도 만 계산합니다. 이 단순화된 연관 표현은 병렬, 수직 및 기타 관계를 설명하는 기능을 유지하는 반면 해당 데이터 볼륨은 앞서 언급한 조건에서 약 4MB에 불과합니다. 이해를 돕기 위해 몇 가지 예도 제공합니다.

그림 3. 기하학적 연관 표현.

평행 관계와 수직 관계는 오프셋 벡터 사이의 각도가 0도 또는 90도인 것으로 표현됩니다. 두 점 사이의 거리는 차선의 폭 정보를 어느 정도 반영할 수 있습니다.

최적화된 기하학적 모양 및 연관성, 우리는 가장 간단한 접근 방식을 채택합니다. 예측 및 레이블의 기하학적 표현을 직접 계산한 다음 표준을 최적화 대상으로 사용합니다. :

레이블과 합계는 각각 계산된 길이와 각도를 예측합니다. 끼인각을 처리할 때 트릭이 사용됩니다. 각도를 직접 계산하는 데는 불연속 아크탄 함수가 포함되며, 이는 최적화 중에 어려움을 겪게 됩니다(±90도 근처에서 기울기 소실 문제가 있음). 따라서 우리가 실제로 비교하는 것은 끼인각입니다. 코사인

기하학적으로 분리된 주의

MapTR, PivotNet 등에서 채택한 아키텍처는 지도 요소의 각 지점을 Transformer의 쿼리에 대응합니다. 이 아키텍처의 문제점은 기하학적 특성의 두 가지 주요 범주를 구별하지 못한다는 것입니다.

self-attention에서는 모든 쿼리(예: "포인트")가 서로 동일하게 상호 작용합니다. 그러나 지도 요소의 모양은 쿼리 그룹에 해당합니다. 이러한 그룹 간의 상호 작용은 요소의 모양을 인식할 때 문제가 됩니다. 오히려 요소 간의 관계를 인식할 때 모양도 중복되는 요소가 되었습니다

모양과 연관성에 대한 인식을 분리하면 더 나은 결과를 얻을 수 있습니다. 지오메트리와 연관 처리를 분리하기 위해 우리는 self-attention의 두 단계를 사용합니다.

각 지도 요소에는

쿼리가 포함되며, 기하학적 모양을 처리하기 위해 이러한
• 쿼리 내에서 주의가 수행됩니다. 주의 관계를 보완합니다.
• 기하학적 분리에 대한 관심은 다음 그림을 통해 더욱 생생하게 표현할 수 있습니다. 우리의 구현은 관심 범위를 제어하기 위해 마스크를 직접 사용하는 비교적 간단합니다. 이 두 가지 유형의 Attention은 상호 보완적이므로 합리적인 구현을 통해 시간 복잡도는 단일 Self-Attention을 수행하는 것과 동일할 수 있습니다

그림 4. 기하학적으로 분리된 Attention.

실험 결과

nuScenes 및 Argoverse 2 데이터 세트를 대상으로 수많은 실험을 수행했습니다. 둘 다 일반적으로 사용되는 대규모 자율주행 데이터 세트이며, 둘 다 지도 주석을 제공합니다.

주요 결과

우리는 뉴씬에 대해 세 가지 실험을 진행했습니다. 첫째, 우리는 기하학적 손실과 기타 필요한 손실(예: 지점 간 거리, 가장자리 방향, 분류)만을 포함하는 상대적으로 순수한 목적 함수 조합을 사용합니다. 이 조합은 우리가 제안하는 기하학적 특성의 중요성을 강조하는 것을 목표로 합니다. SOTA 결과를 지나치게 추구하지 않고 가치를 창출합니다. 결과는 이 경우 우리 방법이 MapTR에 비해 mAP를 향상시키는 것을 보여줍니다. GeMap의 한계를 탐색하기 위해 분할 및 깊이 추정을 포함한 몇 가지 보조 목표도 추가합니다. 이 경우에도 SOTA 결과(mAP 개선)를 달성했습니다. 이러한 개선을 달성하기 위해 추론 속도를 너무 많이 희생할 필요는 없다는 점은 주목할 가치가 있습니다. 마지막으로 추가 모달 입력의 도움으로 GeMap의 성능이 더욱 향상되었습니다

Argoverse 2 데이터 세트에서도 우리의 방법이 매우 뛰어난 결과를 얻었습니다.

다시 작성된 콘텐츠는 다음과 같습니다: 절제 실험

nuScenes에 대해 추가로 다시 작성된 콘텐츠는 다음과 같습니다: 절제 실험은 기하학적 손실과 기하학적으로 분리된 주의의 가치를 증명합니다. 흥미롭게도 우리가 예상한 대로 기하학적 손실을 직접 사용하면 모델 성능이 저하됩니다. 우리는 이것이 모양과 연관 처리의 구조적 결합으로 인해 모델이 기하학적 표현을 최적화하기 어렵게 만들고 기하학적 분리주의와 결합한 후 기하학적 손실이 적절한 역할을 하기 때문이라고 믿습니다("+ 유클리드 손실"에서 "가득한").

또한 NuScene에 대한 시각적 분석도 수행했습니다. 아래 그림에서 볼 수 있듯이 GeMap은 회전 및 이동 처리에 강력할 뿐만 아니라 폐색 문제를 해결하는 데에도 특정 이점을 보여 주는 시각화 결과를 볼 수 있습니다. 도전적인 지도 요소는 그림에서 주황색 상자로 표시되어 있습니다

그림 5. 시각적 비교 결과.

비 오는 날의 실험 결과에서도 교합의 견고함을 정량적으로 검증했습니다(아래 표 참조). 이는 비가 자연적으로 카메라를 차단하기 때문입니다.

이는 모델이 기하학적 특성을 학습하여 폐색이 있는 경우에도 지도 요소를 더 잘 추측할 수 있다는 사실로 설명할 수 있습니다. 예를 들어, 모델이 차선의 모양을 이해하는 경우 나머지 부분을 추정하기 위해 일부만 "보면" 모델은 차선 간의 평행 관계 또는 차선의 폭 특성을 이해하므로 그 중 하나가 막혀도 평행관계와 너비 인자를 바탕으로 막힌 부분을 추측할 수 있습니다

지도 요소의 기하학적 특성과 온라인 벡터화 고정밀 지도 구축에 대한 가치를 지적했습니다. . 이를 바탕으로 우리는 이 값을 초기에 검증할 수 있는 강력한 방법을 제안합니다. 또한 GeMap의 폐색에 대한 견고성은 차량과 도로 모두 상대적으로 표준화된 기하학적 속성을 가지고 있기 때문에 다른 자율 주행 작업(예: 감지, 점유 예측 등)에서 폐색을 처리하기 위해 기하학적 속성을 사용한다는 아이디어를 나타낼 수 있습니다. 물론, 우리의 방법 자체는 더 탐구할 것이 많습니다. 예를 들어, 서로 다른 점을 사용하여 복잡도가 다른 기하학적 요소를 적응적으로 설명할 수 있습니까? 확률론적 관점에서 기하학적 표현을 이해하고 이를 노이즈에 더욱 견고하게 만드는 것이 가능합니까? 요소 연관을 단순화했기 때문에 기하학적 연관을 더 잘 표현할 수 있습니까? 이는 모두 추가 최적화를 위한 방향입니다.

다시 작성해야 하는 내용은 다음과 같습니다: https://mp.weixin.qq.com/s/BoxlskT68Kjb07mfwQ7Swg 링크

위 내용은 처음으로 mAP 70% 이상 달성! GeMap: 로컬 고정밀 지도 SOTA가 다시 새로 고쳐졌습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!