엔드투엔드 데이터가 없으면 어떻게 해야 하나요? ActiveAD: 계획을 위한 End-to-End 자율주행 능동학습!

자율주행을 위한 End-to-End 차별화 학습이 최근 주목받는 패러다임이 되었습니다. 주요 병목 현상은 수동으로 주석을 달기에는 비용이 많이 드는 3D 상자 및 의미론적 분할과 같은 고품질 레이블이 지정된 데이터에 대한 엄청난 수요입니다. 이러한 어려움은 AD의 표본 내 행동이 종종 긴 꼬리 분포를 갖는다는 두드러진 사실로 인해 더욱 복잡해집니다. 즉, 수집된 대부분의 데이터는 사소할 수 있으며(예: 직선 도로에서 전진하는 경우) 안전에 중요한 상황은 소수에 불과합니다. 본 논문에서는 실질적으로 중요하지만 충분히 탐구되지 않은 문제, 즉 엔드투엔드 AD에서 샘플 및 라벨 효율성을 달성하는 방법을 탐구합니다.

구체적으로, 논문은 제안된 계획 경로의 다양성과 유용성 기준에 따라 수집된 원시 데이터의 일부를 점진적으로 주석을 달는 계획 중심의 능동적 학습 방법을 설계합니다. 경험적으로 제안된 계획 중심 접근 방식은 일반적인 능동 학습 방법보다 훨씬 더 나은 성능을 발휘할 수 있습니다. 특히, 우리의 방법은 nuScenes 데이터의 30%만을 사용하여 최첨단 엔드투엔드 AD 방법과 비슷한 성능을 달성합니다. 우리의 작업이 방법론적 노력 외에도 데이터 중심 관점에서 향후 작업에 영감을 줄 수 있기를 바랍니다.

논문 링크: https://arxiv.org/pdf/2403.02877.pdf

이 기사의 주요 기여:

1. E2E-AD의 데이터 문제를 최초로 깊이 있게 연구한 사람. 또한 제한된 예산 내에서 계획을 위한 중요한 데이터를 식별하고 주석을 달 수 있는 간단하면서도 효과적인 솔루션을 제공합니다.
2. 엔드 투 엔드 접근 방식의 계획 중심 철학을 기반으로 경로 계획을 위해 새로운 작업별 다양성 및 불확실성 측정이 설계되었습니다.
3. 광범위한 실험과 절제 연구를 통해 이 방법의 효과가 입증되었습니다. ActiveAD는 일반적인 P2P 방법보다 훨씬 뛰어난 성능을 발휘하며 nuScenes 데이터의 30%만 사용하여 전체 레이블을 사용하는 SOTA 방법과 비슷한 성능을 달성합니다.

방법 소개

ActiveAD는 End-to-End AD 프레임워크에 자세히 설명되어 있으며, AD의 데이터 특성을 기반으로 다양성과 불확실성 지표가 설계되어 있습니다.

1) 라벨의 초기 샘플 선택

컴퓨터 비전의 능동 학습의 경우 초기 샘플 선택은 일반적으로 추가 정보나 학습된 특징 없이 원본 이미지만을 기반으로 하여 무작위 초기화의 일반적인 관행으로 이어집니다. AD의 경우 추가적인 사전정보가 제공됩니다. 특히, 센서로부터 데이터를 수집할 때 자율주행차의 속도와 궤적과 같은 전통적인 정보를 동시에 기록할 수 있습니다. 또한 날씨와 조명 조건은 연속적인 경우가 많으며 조각 수준에서 쉽게 주석을 달 수 있습니다. 이 정보는 초기 세트 선택을 위한 현명한 선택을 용이하게 합니다. 따라서 우리는 초기 선택을 위한 자기 다양성 척도를 설계했습니다.

자아 다양성: 1) 날씨 조명 2) 운전 지침 3) 평균 속도의 세 부분으로 구성됩니다. 먼저, nuScenes의 설명을 사용하여 전체 데이터 세트를 상호 배타적인 4개의 하위 세트인 Day Sunny(DS), Day Rainy(DR), Night Sunny(NS), NightRainy(NR)로 나눕니다. 둘째, 각 하위 집합은 전체 세그먼트 내 좌회전, 우회전 및 직진 운전 명령 수에 따라 좌회전(L), 우회전(R), 추월(O), 직진(S)의 네 가지 범주로 나뉩니다. 논문에서는 임계값 τc를 설계합니다. 여기서 클립의 왼쪽 및 오른쪽 명령 수가 임계값 τc보다 크거나 같을 경우 이를 클립의 초월적 동작으로 간주합니다. 좌회전 명령의 개수만 임계값 τc보다 큰 경우 좌회전을 나타냅니다. 우회전 명령의 개수만 임계값 τc보다 큰 경우 우회전을 나타냅니다. 다른 모든 경우는 직접적인 것으로 간주됩니다. 셋째, 각 장면의 평균 속도를 계산하고 관련 하위 집합 내에서 오름차순으로 정렬합니다.

그림 2는 다중 방향 트리를 기반으로 한 초기 선택 프로세스의 세부적이고 직관적인 프로세스를 보여줍니다.

2) 증분 선택을 위한 기준 설계

이 섹션에서는 이미 주석이 달린 프래그먼트를 사용하여 훈련된 모델을 기반으로 프래그먼트의 새로운 부분을 증분적으로 주석을 추가하는 방법을 소개합니다. 중간 모델을 사용하여 레이블이 지정되지 않은 세그먼트에 대해 추론을 수행하고 후속 선택은 이러한 출력을 기반으로 합니다. 그럼에도 불구하고 계획 중심의 관점이 채택되고 후속 데이터 선택을 위한 세 가지 기준, 즉 변위 오류, 소프트 충돌 및 프록시 불확실성이 도입됩니다.

표준 1: 변위 오류(DE). 모델의 예측 계획 경로 τ와 데이터 세트에 기록된 인간 궤적 τ* 사이의 거리로 표현됩니다.

T는 장면의 프레임을 나타냅니다. 변위 오류는 그 자체로 성능 지표(주석이 필요하지 않음)이므로 활성 선택에서 자연스럽게 첫 번째이자 가장 중요한 기준이 됩니다.

표준 2: 소프트 충돌(SC). LSC는 예측된 자가 차량 궤적과 예측된 에이전트 궤적 사이의 거리로 정의됩니다. 신뢰도가 낮은 에이전트 예측은 임계값 ε으로 필터링됩니다. 각 시나리오에서 가장 짧은 거리가 위험 계수의 척도로 선택됩니다. 동시에 항과 가장 가까운 거리 사이에는 양의 상관관계가 유지됩니다.

다음과 같은 이유로 "소프트 충돌"을 기준으로 사용합니다. 한편으로는 "변위 오류"와 달리 "충돌 비율"의 계산은 다음과 같습니다. 라벨이 지정되지 않은 데이터에서는 사용할 수 없는 상자에 대한 대상 주석의 3D에 있습니다. 따라서 모델의 추론 결과에만 기초하여 기준을 계산하는 것이 가능해야 한다. 반면에, 하드 충돌 기준을 고려하십시오. 예측된 자가 차량 궤적이 다른 예측 에이전트의 궤적과 충돌할 경우 1을 할당하고, 그렇지 않으면 0을 할당합니다. 그러나 AD에서 최신 모델의 충돌 비율은 일반적으로 작기 때문에(1% 미만) 라벨 1의 샘플이 너무 적어질 수 있습니다. 따라서 "충돌률" 지표 대신 다른 대상 쌍에 대한 가장 가까운 거리를 사용하도록 선택되었습니다. 다른 차량이나 보행자와의 거리가 너무 가까우면 위험이 훨씬 더 높은 것으로 간주됩니다. 간단히 말해서, "소프트 충돌"은 충돌 가능성을 효과적으로 측정하고 집중적인 감독을 제공할 수 있습니다.

기준 III: 에이전트 불확실성(AU). 주변 에이전트의 미래 궤적에 대한 예측은 당연히 불확실하므로 동작 예측 모듈은 일반적으로 여러 양식과 해당 신뢰도 점수를 생성합니다. 우리의 목표는 주변 에이전트의 불확실성이 높은 데이터를 선택하는 것입니다. 구체적으로, 멀리 있는 피사체는 거리 임계값 δ에 의해 필터링되고 나머지 피사체에 대한 다중 모드 예측 확률의 가중 엔트로피가 계산됩니다. 양식의 수가 이고 다양한 양식에 대한 에이전트의 신뢰도 점수가 Pi(a)라고 가정합니다. 여기서 i∈{1,…,Nm}입니다. 그런 다음 에이전트 불확실성은 다음과 같이 정의할 수 있습니다.

전체 손실:

3) 전반적인 능동 학습 패러다임

Alg1은 방법의 전체 작업 흐름을 소개합니다. 사용 가능한 예산 B, 초기 선택 크기 n0, 각 단계 ni에서 수행된 활동 선택 수 및 총 M개의 선택 단계가 주어집니다. 위에서 설명한 무작위화 또는 자체 다양성 방법을 사용하여 선택이 먼저 초기화됩니다. 그런 다음 현재 주석이 달린 데이터를 사용하여 네트워크를 훈련시킵니다. 훈련된 네트워크를 기반으로 라벨이 지정되지 않은 네트워크에 대해 예측을 수행하고 총 손실을 계산합니다. 마지막으로 전체 손실에 따라 샘플을 정렬하고 현재 반복에서 주석을 추가할 상위 ni 샘플을 선택합니다. 이 과정은 반복이 상한 M에 도달하고 선택된 샘플의 수가 상한 B에 도달할 때까지 반복됩니다.

실험 결과

실험은 널리 사용되는 nuScenes 데이터 세트를 대상으로 수행되었습니다. 모든 실험은 PyTorch를 사용하여 구현되었으며 RTX 3090 및 A100 GPU에서 실행됩니다.

표 1: 기획 성과. ActiveAD는 모든 주석 예산 설정에서 일반적인 활성 학습 기준보다 성능이 뛰어납니다. 또한, 데이터의 30%를 사용하는 ActiveAD는 전체 데이터 세트를 사용한 교육에 비해 약간 더 나은 계획 성능을 달성했습니다. *가 있는 VAD는 원본 작업에서 보고된 것보다 더 나은 업데이트된 결과를 나타냅니다. †가 있는 UniAD는 VAD 표시기가 결과를 업데이트하는 데 사용되었음을 나타냅니다.

표 2: 설계된 절제 실험. "RA" 및 "ED"는 무작위성과 자체 다양성을 기반으로 한 초기 세트 선택을 나타냅니다. "DE", "SC" 및 "AU"는 각각 소프트 충돌 및 에이전트 불확실성인 변위 오류를 나타냅니다. "ED"가 포함된 모든 조합은 동일한 10% 데이터로 초기화됩니다. LDE, LSC, LAU는 각각 [0, 1]로 정규화되었으며, 하이퍼파라미터 α와 β는 1로 설정되었습니다.

그림 3: 선택한 장면의 시각화. 데이터의 10%에 대해 훈련된 모델을 기반으로 선택한 전면 카메라 이미지를 기반으로 한 변위 오류(열 1), 소프트 충돌(열 2), 에이전트 불확실성(열 3) 및 하이브리드(열 4) 기준. Mixed는 최종 선택 전략인 ActiveAD를 나타내며 처음 세 가지 시나리오를 고려합니다!

표 4, 다양한 시나리오에서의 성능. 30%의 데이터를 활용한 능동 모델의 평균 L2(m)/평균 충돌률(%)이 작을수록 다양한 날씨/조명 및 주행 명령 조건에서 성능이 향상되는 것으로 나타났다.

그림 4: 여러 기준 간의 유사성. 변위 오류(DE), 소프트 충돌(SC), 에이전트 불확실성(AU) 및 혼합(MX)

몇 가지 결론

엔드 투 엔드 자율주행 데이터 주석의 높은 비용과 롱테일 문제를 해결하기 위해 맞춤형 능동 학습 솔루션인 ActiveAD 개발에 앞장섰습니다. ActiveAD는 계획 중심 철학을 기반으로 새로운 작업별 다양성 및 불확실성 측정 방법을 도입합니다. 수많은 실험을 통해 이 방법의 효율성이 입증되었습니다. 단 30%의 데이터만 사용하여 기존의 일반적인 방법을 훨씬 능가하며 최신 모델과 비교할 수 있는 성능을 달성합니다. 이는 데이터 중심 관점에서 엔드투엔드 자율 주행에 대한 의미 있는 탐구를 나타내며, 우리의 작업이 향후 연구와 발견에 영감을 줄 수 있기를 바랍니다.