자율주행의 심장 이벤트에 초대받게 되어 매우 기쁩니다. 벡터화된 고정밀 지도의 온라인 재구성을 위한 방해 방지 방법 ADMap을 공유하겠습니다. https://github.com/hht1996ok/ADMap에서 코드를 찾을 수 있습니다. 여러분의 관심과 지원에 감사드립니다.
자율 운전 분야에서 온라인 고화질 지도 재구성은 계획 및 예측 작업에 매우 중요합니다. 최근 작업에서는 이러한 요구를 충족하기 위해 많은 고성능 고화질 지도 재구성 모델을 구축했습니다. 그러나 벡터화된 인스턴스 내의 포인트 순서는 예측 편차로 인해 지터링되거나 들쭉날쭉해질 수 있으며, 이로 인해 후속 작업에 영향을 미칠 수 있습니다. 따라서 우리는 ADMap(Anti-Disturbance Map 재구성 프레임워크)을 제안합니다. 이 기사에서는 모델 속도와 전반적인 정확성을 고려하고 배포 시 엔지니어를 괴롭히지 않기를 바랍니다. 따라서 MPN(Multi-Scale Perception Neck), IIA(Instance Interactive Attention) 및 VDDL(Vector Direction Difference Loss)의 세 가지 효율적이고 효과적인 모듈이 제안됩니다. 인스턴스 간 및 인스턴스 내에서 포인트 순서 관계를 계단식으로 탐색함으로써 우리 모델은 포인트 순서 예측 프로세스를 더 잘 감독합니다.
nuScenes 및 Argoverse2 데이터세트에서 ADMap의 효율성을 검증했습니다. 실험 결과, 다양한 벤치마크 테스트에서 ADMap이 가장 좋은 성능을 보이는 것으로 나타났습니다. NuScenes 벤치마크에서 ADMap은 카메라 데이터와 멀티모달 데이터만을 사용하여 각각 기준선에 비해 mAP를 4.2%와 5.5% 향상시켰습니다. ADMapv2는 추론 대기 시간을 줄일 뿐만 아니라 기준 성능을 크게 향상시켜 최고 mAP가 82.8%에 달합니다. Argoverse 데이터세트에서 ADMapv2의 mAP는 62.9%로 증가한 반면 프레임 속도는 14.8FPS로 유지되었습니다.
요약하자면 우리가 제안한 ADMap의 주요 기여는 다음과 같습니다.
그림 1에서 볼 수 있듯이 인스턴스의 예측 포인트는 종종 필연적으로 지터 또는 이동이 발생합니다. 이 지터로 인해 재구성된 인스턴스 벡터가 고르지 않거나 들쭉날쭉해지며 품질과 실용성에 심각한 영향을 미칩니다. 온라인 고정밀 지도. 그 이유는 기존 모델이 인스턴스 간 및 인스턴스 내 상호 작용을 완전히 고려하지 않기 때문이라고 생각합니다. 인스턴스 포인트와 지도 토폴로지 정보 간의 불완전한 상호 작용으로 인해 예측 위치가 부정확해집니다. 또한 L1 손실 및 코사인 임베딩 손실과 같은 감독만으로는 기하학적 관계를 효과적으로 사용하여 인스턴스 포인트의 예측 프로세스를 제한할 수 없습니다. 네트워크는 포인트 시퀀스의 방향 정보를 보다 정확하게 캡처하기 위해 포인트 사이의 벡터 선 세그먼트를 사용해야 합니다. 각 지점의 예측 과정을 제한합니다.
위 문제를 완화하기 위해 우리는 벡터화된 고정밀 지도를 실시간으로 안정적으로 재구성할 수 있는 Anti-Disturbance Map 재구성 프레임워크(ADMap)를 혁신적으로 제안했습니다.
그림 2에서 볼 수 있듯이 ADMap은 MPN(Multi-Scale Perception Neck), IIA(Instance Interactive Attention) 및 벡터 방향 차이 손실(Vector Direction Difference Loss, VDDL)을 사용하여 포인트 순서를 예측합니다. 더 정확하게는 토폴로지입니다. MPN, IIA 및 VDDL은 각각 아래에 소개됩니다.
보다 자세한 BEV 기능을 얻기 위해 MPN(Multi-Scale Perception Neck)을 도입합니다. MPN은 융합된 BEV 기능을 입력으로 수신합니다. 다운샘플링을 통해 각 레벨의 BEV 특징을 업샘플링 레이어에 연결하여 원래 크기의 특징 맵을 복원합니다. 마지막으로, 각 수준의 기능 맵은 다중 규모 BEV 기능으로 병합됩니다.
그림 2에서 볼 수 있듯이 점선은 이 단계가 훈련 중에만 구현됨을 나타내고 실선은 이 단계가 훈련 및 추론 프로세스 중에 모두 구현됨을 나타냅니다. 훈련 과정에서 다중 스케일 BEV 특징 맵과 각 레벨의 BEV 특징 맵이 Transformer Decoder로 전송됩니다. 이를 통해 네트워크는 다양한 스케일에서 장면의 인스턴스 정보를 예측하여 보다 정제된 다중 스케일 특징을 캡처할 수 있습니다. 추론 프로세스 중에 MPN은 다중 스케일 BEV 기능만 유지하고 각 수준에서 기능 맵을 출력하지 않습니다. 이렇게 하면 추론 중에 목의 리소스 사용량이 변경되지 않습니다.
Transformer Decoder는 인스턴스 수준 쿼리 집합과 포인트 수준 쿼리 집합을 정의합니다. 그런 다음 이러한 계층적 쿼리는 다음과 같이 정의됩니다.
디코더는 계층적 쿼리를 반복적으로 업데이트하는 여러 계단식 디코딩 레이어로 구성됩니다. 각 디코딩 레이어에서 계층적 쿼리는 self-attention 메커니즘에 입력되어 계층적 쿼리 간에 정보가 교환될 수 있습니다. Deformable Attention은 계층적 쿼리 및 다중 규모 BEV 기능과 상호 작용하는 데 사용됩니다.
복호화 단계에서 각 인스턴스의 기능을 더 잘 얻기 위해 Instances self-attention과 Points self-attention으로 구성된 Instance Interactive Attention(IIA)을 제안했습니다. 인스턴스 수준 및 포인트 수준 임베딩을 병렬로 추출하는 MapTRv2와 달리 IIA는 계단식 쿼리 임베딩을 추출합니다. 인스턴스 임베딩 간의 기능 상호 작용은 네트워크가 포인트 수준 임베딩 간의 관계를 학습하는 데 도움이 됩니다.
그림 3에서 볼 수 있듯이 Deformable cross-attention에 의해 출력된 계층적 임베딩은 인스턴스 self-attention에 입력됩니다. 포인트 차원과 채널 차원을 병합한 후 차원 변환이 이루어집니다. 이후 계층적 임베딩은 여러 MLP로 구성된 Embed Layer에 연결되어 인스턴스 쿼리를 얻습니다. 쿼리는 Multi-head self-attention에 넣어 인스턴스 간의 토폴로지 관계를 캡처하고 인스턴스 임베딩을 얻습니다. 인스턴스 수준 정보를 포인트 수준 임베딩에 통합하기 위해 인스턴스 임베딩과 계층적 임베딩을 합산합니다. 추가된 기능은 각 인스턴스 내의 포인트 기능과 상호 작용하여 포인트 시퀀스 간의 토폴로지 관계를 더욱 세밀하게 연관시키는 Point self-attention에 입력됩니다.
고정밀 지도에는 차선, 연석, 횡단보도를 비롯한 벡터화된 정적 지도 요소가 포함되어 있습니다. ADMap은 이러한 열린 모양(차선, 연석)과 닫힌 모양(횡단보도)에 대해 벡터 방향 차이 손실을 제안합니다. 인스턴스 내부의 포인트 시퀀스 벡터 방향을 모델링하고, 예측된 벡터 방향과 실제 벡터 방향의 차이를 통해 포인트의 방향을 보다 자세히 모니터링할 수 있습니다. 또한 실제 벡터 방향의 차이가 큰 점은 일부 장면의 토폴로지에서 급격한 변화(예측하기 어려움)를 나타내는 것으로 간주되므로 모델에서 더 많은 주의가 필요합니다. 따라서 네트워크가 이 급격한 변화 지점을 정확하게 예측할 수 있도록 실제 벡터 방향 차이가 더 큰 지점에 더 큰 가중치가 부여됩니다.
그림 4는 예측 점 시퀀스 { 및 실제 점 시퀀스 { )의 예측 벡터 선 { 및 실제 벡터 선 { )의 초기 모델링을 보여줍니다. 반대 각도가 동일한 손실을 얻지 않도록 하기 위해 벡터 선 각도 차이의 코사인을 계산합니다. θ':
여기서 함수는 벡터 선의 좌표 위치를 누적하여 정규화 작업을 나타냅니다. . 실제 인스턴스의 각 점의 벡터 각도 차이를 사용하여 서로 다른 크기의 가중치를 할당합니다. 가중치는 다음과 같이 정의됩니다.
는 인스턴스의 점 수를 나타내며, 함수는 e를 밑으로 하는 지수 함수를 나타냅니다. 첫 번째 점과 마지막 점 사이의 벡터 각도 차이를 계산할 수 없으므로 첫 번째 점과 마지막 점의 가중치를 1로 설정합니다. 지상 실제값의 벡터 각도 차이가 커지면 해당 지점에 더 큰 가중치를 부여하여 네트워크가 크게 변화하는 맵 토폴로지에 더 많은 주의를 기울이게 합니다. 포인트 시퀀스에서 각 포인트의 각도 차이 손실은 다음과 같이 정의됩니다.
손실 값의 간격을 [0.0, 2.0]으로 조정하기 위해 θ을 사용합니다. 각 점에서 인접한 벡터 선 사이의 각도 차이의 코사인을 추가함으로써 이 손실은 각 점의 기하학적 토폴로지 정보를 보다 포괄적으로 포괄합니다. 첫 번째와 마지막 두 점에는 인접한 벡터 선이 하나만 있으므로 첫 번째와 마지막 두 점의 손실은 단일 벡터 각도 차이의 코사인입니다.
공정한 평가를 위해 지도 요소를 차선, 도로 경계, 횡단보도의 세 가지 유형으로 나눕니다. 평균 정확도(AP)는 맵 구성의 품질을 평가하는 데 사용되며, 예측된 포인트 순서와 실제 포인트 순서 사이의 모따기 거리의 합은 두 포인트가 일치하는지 확인하는 데 사용됩니다. 모따기 거리 임계값은 [0.5, 1.0, 1.5]로 설정되어 있으며, 이 세 가지 임계값에 따라 각각 AP를 계산하고 평균을 최종 지표로 사용합니다.
표 1은 nuScenes 데이터 세트에 대한 ADMap의 메트릭과 최첨단 방법을 보고합니다. 카메라 전용 프레임워크에서 ADMap의 mAP는 기준선(MapTR)에 비해 5.5% 증가했고, ADMapv2는 기준선(MapTRv2)에 비해 1.4% 증가했습니다. ADMapv2는 최대 mAP가 82.8%로 현재 벤치마크 중 최고의 성능을 달성합니다. 일부 세부 사항은 후속 arxiv 버전에서 발표될 예정입니다. 속도 측면에서 ADMap은 약간 낮은 FPS에서 기준에 비해 모델 성능을 크게 향상시킵니다. ADMapv2는 성능을 향상시킬 뿐만 아니라 모델 추론 속도도 향상시킨다는 점을 언급할 가치가 있습니다.
표 2는 Argoverse2의 ADMap 및 최첨단 방법의 메트릭을 보고합니다. 카메라 전용 프레임워크에서 ADMap과 ADMapv2는 기준선에 비해 각각 3.4%, 1.3% 향상되었습니다. 다중 모드 프레임워크에서 ADMap과 ADMapv2는 mAP가 각각 75.2%와 76.9%로 최고의 성능을 달성했습니다. 속도면에서. ADMapv2는 MapTRv2에 비해 11.4ms 향상되었습니다.
표 3에서는 nuScenes 벤치마크에서 ADMap의 각 모듈에 대한 절제 실험을 제공합니다.
표 4는 다양한 주의 메커니즘을 삽입하는 것이 최종 성능에 미치는 영향을 보여줍니다. DSA는 분리된 자기 주의를 나타내고 IIA는 대화형 주의를 나타냅니다. 결과는 IIA가 DSA에 비해 mAP를 1.3% 향상시키는 것으로 나타났습니다.
표 5는 기능 병합 후 mAP에 백본 및 넥 레이어를 추가할 때의 영향을 보고합니다. SECOND를 기준으로 backbone과 neck 레이어를 추가한 후 mAP가 1.2% 증가했습니다. MPN을 추가한 후 추론 시간을 늘리지 않고도 모델의 mAP가 2.0% 증가했습니다.
표 6은 nuScenes 벤치마크에 VDDL을 추가했을 때의 성능 영향을 보고합니다. 가중치를 1.0으로 설정했을 때 mAP가 53.3%로 가장 높은 것을 알 수 있다.
표 7은 MPN 다운샘플링 레이어 수가 nuScenes 벤치마크의 최종 성능에 미치는 영향을 보고합니다. 다운샘플링 레이어가 많을수록 모델 추론 속도가 느려집니다. 따라서 속도와 성능의 균형을 맞추기 위해 다운샘플링 레이어 수를 2로 설정했습니다.
ADMap이 점 순서 교란 문제를 효과적으로 완화하는지 검증하기 위해 평균 모따기 거리(ACE)를 제안했습니다. 모따기 거리의 합이 1.5 미만인 예측 인스턴스를 선택하고 평균 모따기 거리(ACE)를 계산했습니다. ACE가 작을수록 인스턴스 포인트 순서 예측이 더 정확해집니다. 표 8은 ADMap이 포인트 클라우드 교란 문제를 효과적으로 완화할 수 있음을 입증합니다.
다음 두 그림은 nuScenes 데이터 세트와 Argoverse2 데이터 세트의 시각화 결과를 보여줍니다.
ADMap은 예측 편향으로 인해 인스턴스 벡터의 포인트 순서에서 발생할 수 있는 지터 또는 들쭉날쭉한 현상을 효과적으로 완화하는 효율적이고 효과적인 벡터화 고정밀 맵 재구성 프레임워크입니다. 광범위한 실험을 통해 우리가 제안한 방법이 nuScenes 및 Argoverse2 벤치마크 모두에서 최고의 성능을 달성하는 것으로 나타났습니다. 우리는 ADMap이 벡터 고정밀 지도 재구성 작업에 대한 연구를 발전시켜 자율주행과 같은 분야의 발전을 더욱 촉진하는 데 도움이 될 것이라고 믿습니다.
위 내용은 ADMap: 간섭 방지 온라인 고정밀 지도에 대한 새로운 아이디어의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
