개방 루프 엔드투엔드 자율 주행에 필요한 모든 것이 자율주행차 상태입니까?

원제: Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving?

논문 링크: https://arxiv.org/abs/2312.03031

코드 링크: https://github. com/NVlabs/BEV-Planner

저자 소속: Nanjing University NVIDIA

논문 아이디어:

최근 유망한 연구 방향으로 떠오른 엔드투엔드 자율주행 풀스택 추구 관점 자동화. 이 노선을 따라 최근의 많은 작업은 NuScene에 대한 계획 동작을 연구하기 위해 개방형 루프 평가 설정을 따릅니다. 이 기사에서는 철저한 분석을 수행하고 퍼즐을 더 자세히 공개함으로써 이 문제를 더 깊이 탐구합니다. 본 논문에서는 상대적으로 단순한 운전 장면을 특징으로 하는 nuScenes 데이터 세트가 자아 속도와 같은 자아 상태를 통합하는 엔드투엔드 모델에서 지각 정보의 활용도가 낮다는 점을 초기에 관찰했습니다. 이러한 모델은 향후 경로 계획을 위해 주로 자가 차량 상태에 의존하는 경향이 있습니다. 데이터 세트의 한계 외에도 이 논문은 현재 지표가 계획 품질에 대한 포괄적인 평가를 제공하지 않아 기존 벤치마크에서 도출된 잠재적으로 편향된 결론을 이끌어낸다는 점을 지적합니다. 이 문제를 해결하기 위해 이 논문에서는 예측된 궤도가 도로를 따르는지 여부를 평가하는 새로운 측정항목을 도입합니다. 이 논문은 지각적 주석에 의존하지 않고 경쟁력 있는 결과를 달성할 수 있는 간단한 기준선을 추가로 제안합니다. 기존 벤치마크 및 지표의 한계를 고려하여 이 기사에서는 학계가 관련 주류 연구를 재평가하고 최첨단 기술을 지속적으로 추구하면 설득력 있는 일반적인 결론을 얻을 수 있는지 신중하게 고려할 것을 권장합니다.

주요 기여:

nuScenes 기반의 개방형 자율 주행 모델은 자율주행차 상태(속도, 가속도, 요 각도)에 크게 영향을 받으며 이러한 요소는 성능 계획에 핵심적인 역할을 합니다. 자가 차량 상태가 관련된 경우 모델의 궤적 예측은 주로 이에 의해 제어되므로 감각 정보의 활용도가 낮아질 수 있습니다.

기존 계획 지표로는 모델의 실제 성능을 완전히 평가하지 못할 수 있습니다. 다양한 지표에 따라 모델의 평가 결과에 상당한 차이가 있을 수 있습니다. 따라서 모델이 다른 잠재적 위험을 무시하고 특정 지표에서만 좋은 성능을 발휘하는 것을 피하기 위해 모델의 성능을 평가하기 위해 보다 다양하고 포괄적인 지표를 도입하는 것이 좋습니다.

기존 nuScenes 데이터세트에서 최고 성능을 달성하는 것보다 더 적용 가능한 데이터세트와 측정항목을 개발하는 것이 더 중요하고 시급한 과제로 간주됩니다.

논문 디자인:

End-to-End 자율주행의 목표는 인식과 계획을 종합적으로 고려하여 풀스택 방식으로 구현하는 것이다[1, 5, 32, 35]. 기본적인 동기는 자율주행차(AV)에 대한 인식을 피팅을 위한 일부 인식 지표에 지나치게 의존하기보다는 목표(계획)를 달성하기 위한 수단으로 보는 것입니다.

인식과 달리 계획은 일반적으로 더 개방적이며 수량화하기 어렵습니다 [6, 7]. 이상적으로 계획의 개방형 특성은 다른 에이전트가 자가 차량의 동작에 반응할 수 있고 그에 따라 원시 센서 데이터가 변경될 수 있는 폐쇄 루프 평가 설정을 지원합니다. 그러나 폐쇄 루프 시뮬레이터의 에이전트 행동 모델링 및 실제 데이터 시뮬레이션[8, 19]은 지금까지 해결되지 않은 문제로 남아 있습니다. 따라서 폐쇄 루프 평가는 필연적으로 현실 세계와 상당한 영역 격차를 발생시킵니다.

반면 개방 루프 평가는 인간 운전을 실제 상황으로 취급하고 계획을 모방 학습으로 공식화하는 것을 목표로 합니다[13]. 이 표현을 사용하면 간단한 로그 재생을 통해 실제 데이터 세트를 직접 사용할 수 있어 시뮬레이션에서 도메인 격차를 피할 수 있습니다. 또한 시뮬레이션에서 높은 충실도로 생성하기 어려운 복잡하고 다양한 교통 시나리오에서 모델을 훈련하고 검증하는 기능과 같은 다른 이점도 제공합니다[5]. 이러한 이점으로 인해 확립된 연구 영역은 실제 데이터 세트를 사용하는 개방형 루프 엔드 투 엔드 자율 주행에 중점을 둡니다[2, 12, 13, 16, 43].

현재 인기 있는 엔드투엔드 자율 주행 방법[12, 13, 16, 43]은 일반적으로 계획 동작에 대한 개방 루프 평가를 위해 nuScenes[2]를 사용합니다. 예를 들어 UniAD[13]는 최종 계획 행동에 대한 다양한 인식 작업 모듈의 영향을 연구했습니다. 그러나 최근 ADMLP [45]는 단순한 MLP 네트워크가 자아 상태 정보에만 의존하여 최첨단 계획 결과를 달성할 수도 있다고 지적했습니다. 이는 이 기사에서 다음과 같은 중요한 질문을 제기하는 데 영감을 주었습니다.

개방 루프 종단 간 자율 주행에는 자아 상태 정보만 필요합니까?

현재 벤치마크에서 자아 상태 정보 사용의 장단점을 고려하면 이 기사에 대한 대답은 '예'와 '아니요'입니다.

그렇습니다. 속도, 가속도, 요 각도 등 자아 상태의 정보는 계획 작업 실행에 분명히 도움이 되어야 합니다. 이를 검증하기 위해 이 백서는 AD-MLP의 공개 문제를 해결하고 잠재적인 라벨 누출을 방지하기 위해 과거 궤적 GT(Ground Truth)의 사용을 제거합니다. 본 논문에서 재현된 모델인 Ego-MLP(그림 1a.2)는 자아 상태에만 의존하며 기존 L2 거리 및 충돌률 측정 기준 측면에서 최첨단 방법과 유사합니다. 또 다른 관찰은 자아 상태 정보를 계획 모듈에 통합하는 기존 방법[13, 16, 43]만이 Ego-MLP와 비슷한 결과를 얻을 수 있다는 것입니다. 이러한 방법은 추가적인 지각 정보(추적, HD 맵 등)를 사용하지만 Ego-MLP보다 우수한 것으로 나타나지는 않았습니다. 이러한 관찰은 엔드투엔드 자율 주행 개방형 루프 평가에서 자아 상태의 지배적인 역할을 확인합니다.

아니요. 분명히 안전이 중요한 애플리케이션인 자율 주행은 결정을 내릴 때 자아 상태에만 의존해서는 안 됩니다. 그렇다면 자아 상태만을 사용하여 가장 진보된 계획 결과를 얻을 수 있는 이유는 무엇입니까? 이 질문에 답하기 위해 이 문서에서는 기존 개방 루프 엔드 투 엔드 자율 주행 접근 방식을 다루는 포괄적인 분석 세트를 제시합니다. 이 백서에서는 데이터 세트, 평가 지표 및 특정 모델 구현과 관련된 측면을 포함하여 기존 연구의 주요 단점을 식별합니다. 이 문서는 이 섹션의 나머지 부분에서 이러한 결함을 열거하고 자세히 설명합니다.

데이터 세트 불균형. NuScenes는 개방 루프 평가 작업에 일반적으로 사용되는 벤치마크입니다[11–13, 16, 17, 43]. 그러나 본 논문의 분석에서는 그림 2에 표시된 궤적 분포에 반영된 것처럼 nuScenes 데이터의 73.9%가 직선 주행 시나리오와 관련되어 있음을 보여줍니다. 이러한 직선 주행 시나리오의 경우 대부분의 경우 현재 속도, 방향 또는 조향 속도를 유지하는 것으로 충분합니다. 따라서 자아 상태 정보는 계획 작업에 적응하는 지름길로 쉽게 사용될 수 있으며, 이는 NuScene에서 Ego-MLP의 강력한 성능으로 이어집니다.

기존 평가지표는 포괄적이지 않습니다. NuScenes 데이터의 나머지 26.1%는 더욱 까다로운 운전 시나리오와 관련되어 있으며 행동 계획에 대한 더 나은 벤치마크가 될 수 있습니다. 그러나 본 논문에서는 예측과 계획 참값 사이의 L2 거리, 자율주행차와 주변 장애물 간의 충돌률 등 널리 사용되는 현재 평가 지표로는 모델의 계획 동작 품질을 정확하게 측정할 수 없다고 생각합니다. 다양한 방법으로 생성된 수많은 예측 궤적을 시각화함으로써 본 논문에서는 도로를 벗어난 운전과 같은 일부 고위험 궤적이 기존 측정항목에서 심각하게 불이익을 받지 않을 수 있음을 지적합니다. 이 문제에 대응하기 위해 본 논문에서는 예측 궤적과 도로 경계 사이의 상호작용 비율을 계산하는 새로운 평가 메트릭을 도입합니다. 벤치마크는 도로 경계와의 교차율에 초점을 맞추면서 상당한 변화를 겪습니다. 이 새로운 평가 지표에서 Ego-MLP는 UniAD보다 도로에서 더 자주 벗어나는 궤적을 예측하는 경향이 있습니다.

자아 지위 편향은 운전 논리와 모순됩니다. 자아 상태는 과적합으로 이어질 수 있으므로, 이 기사에서는 흥미로운 현상을 더 관찰했습니다. 본 논문의 실험 결과는 경우에 따라 기존 엔드 투 엔드 자율 주행 프레임워크에서 시각적 입력을 완전히 제거해도 계획 동작의 품질이 크게 저하되지 않음을 보여줍니다. 이는 인지가 계획에 유용한 정보를 제공할 것으로 기대되기 때문에 기본적인 운전 논리와 모순됩니다. 예를 들어, VAD[16]에서 모든 카메라 입력을 차단하면 인식 모듈이 완전히 실패하지만 자아 상태가 있는 경우 계획의 저하가 최소화됩니다. 그러나 입력 자체의 속도를 변경하면 최종 예측 궤적에 큰 영향을 미칠 수 있습니다.

요약하자면, 이 기사에서는 최근 엔드투엔드 자율주행 분야의 노력과 뉴씬에 대한 최첨단 결과가 자아상태에 대한 지나친 의존과 단순운전의 지배가 결합되어 있을 가능성이 높다고 추측합니다. 시나리오. 더욱이 현재의 평가 지표로는 모델 예측 궤적의 품질을 종합적으로 평가하는 데 부족합니다. 이러한 개방형 질문과 단점은 계획 작업의 잠재적인 복잡성을 과소평가할 수 있으며 개방 루프 엔드투엔드 자율 주행 모든 것에 자아 상태만 있으면 된다는 오해의 소지가 있는 인상을 줄 수 있습니다.

현재 개방 루프 엔드 투 엔드 자율 주행 연구에서 자아 상태의 잠재적 간섭은 또 다른 질문을 제기합니다. 전체 모델에서 자아 상태를 제거하여 이 효과를 상쇄할 수 있습니까? 그러나 자아 상태의 영향을 배제하더라도 nuScenes 데이터 세트를 기반으로 한 개방 루프 자율 주행 연구의 신뢰성에는 여전히 의문이 있다는 점은 주목할 가치가 있습니다.

사진 1. (a) AD-MLP는 자아 상태와 과거 궤도의 실제 값을 모두 입력으로 사용합니다. 본 글에서 재현한 버전(Ego-MLP)은 과거의 흔적을 제거한 버전입니다. (b) 기존의 엔드 투 엔드 자율 주행 프로세스에는 인식, 예측 및 계획 모듈이 포함됩니다. 자아 상태는 조감도(BEV) 생성 모듈 또는 계획 모듈에 통합될 수 있습니다. (c) 이 논문은 기존 방법과의 비교를 위한 간단한 기준선을 설계합니다. 이 간단한 기준선은 인식이나 예측 모듈을 활용하지 않고 BEV 기능을 기반으로 최종 궤적을 직접 예측합니다.

사진 2. (a) nuScenes 데이터세트의 차량 궤적 히트 맵. (b) nuScenes 데이터세트의 대부분의 장면은 직진 주행 상황으로 구성됩니다.

사진 3. 현재 방법[12, 13, 16]은 자 차량의 요각 변화를 고려하지 않고 항상 요각을 0(회색 차량으로 표시)으로 유지하여 거짓 부정(a) 및 거짓 긍정(b) 충돌 감지를 초래합니다. 이벤트. 본 논문에서는 충돌 감지의 정확도를 높이기 위해 차량의 궤적 변화를 추정하여 차량의 요각(빨간색 차량으로 표시)을 추정합니다.

사진 4. 이 논문은 다양한 이미지 손상 시나리오에서 플래너에 자아 상태를 통합하는 VAD 모델의 예측 궤적을 보여줍니다. 특정 장면(20초 길이)의 모든 궤적은 전역 좌표계로 표시됩니다. 각 삼각형 표시는 차량의 실제 궤적 지점을 나타내며, 서로 다른 색상은 서로 다른 시간 단계를 나타냅니다. 입력이 빈 이미지인 경우에도 모델의 예측 궤적이 여전히 합리적이라는 점은 주목할 가치가 있습니다. 그러나 그림 5에 자세히 설명된 것처럼 빨간색 상자 내의 궤적은 차선책입니다. 모든 서라운드 뷰 이미지가 손상되었으나 시각화의 용이성을 위해 초기 시간 단계에 해당하는 정면 이미지만 표시됩니다.

사진 5. 개방형 자율주행 방식에서는 자율주행차의 출발 위치로부터 미래의 궤적을 예측한다. 모방 학습 패러다임 내에서 예측된 궤적은 실제 실측 궤적과 이상적으로 밀접하게 정렬되어야 합니다. 또한, 연속적인 시간 단계에서 예측된 궤적은 운전 전략의 연속성과 부드러움을 보장하기 위해 일관되게 유지되어야 합니다. 따라서 그림 4의 빨간색 상자에 표시된 예측 궤적은 실제 궤적에서 벗어날 뿐만 아니라 서로 다른 타임스탬프에서 상당한 차이를 보여줍니다.

사진 6. 플래너에 자아 상태를 통합하는 VAD 기반 모델의 경우 이 논문에서는 시각적 입력을 일정하게 유지하면서 자아 속도에 노이즈를 도입합니다. 자율주행차의 속도 데이터가 교란될 때 결과 궤적이 상당한 변화를 보인다는 점은 주목할 가치가 있습니다. 차량의 속도를 0으로 설정하면 정지 운동이 예측되는 반면, 100m/s의 속도는 비현실적인 궤적을 예측하게 됩니다. 이는 지각 모듈이 정확한 주변 정보를 지속적으로 제공하지만 모델의 의사 결정 과정이 자아 상태에 너무 많이 의존한다는 것을 나타냅니다.

사진 7. BEVFormer는 BEV 쿼리 초기화 과정에서 자아 상태 정보를 결합하는데, 이는 현재의 End-to-End 자율주행 방법에서 다루지 않는 세부 사항이다[13, 16, 43].

사진 8. BEV-Planner++에 자아 상태 정보를 도입하면 모델이 매우 빠르게 수렴될 수 있습니다.

사진 9. 이 기사 기준의 BEV 특성을 해당 시나리오와 비교하십시오.

실험 결과:

논문 요약:

이 백서는 현재 개방 루프 엔드 투 엔드 자율 주행 방법의 고유한 단점에 대한 심층 분석을 제공합니다. 본 논문의 목표는 연구 결과에 기여하고 엔드투엔드 자율주행의 점진적인 개발을 촉진하는 것입니다.

인용:

Li Z, Yu Z, Lan S, et al. 개방 루프 종단 간 자율 주행에 필요한 것은 Ego Status입니까?[J] arXiv 사전 인쇄 arXiv:2312.03031, 2023.