UniPAD: 만능 자율주행 사전 훈련 모드! 다양한 인식 작업 지원 가능

최근에는 새로운 논문이 나오는 속도가 너무 빨라서 도저히 읽을 수 없을 것 같은 느낌이 듭니다. 언어와 시각에 대한 다중 모드 대형 모델의 융합이 업계 합의가 되었다고 볼 수 있습니다. UniPad에 대한 이 기사는 세계와 유사한 모델에 대해 다중 모드 입력과 사전 훈련된 기본 모델을 제공합니다. 동시에 여러 기존 비전 애플리케이션으로 쉽게 확장할 수 있습니다. 또한 대규모 언어 모델의 사전 학습 방법을 3D 장면에 적용하는 문제를 해결하여 지각 기반의 통합된 대규모 모델의 가능성을 제공합니다.

UniPAD는 MAE 및 3D 렌더링을 기반으로 한 자기 지도 학습 방법으로, 뛰어난 성능으로 기본 모델을 훈련한 다음 모델에 대한 깊이 추정, 객체 감지 및 분할과 같은 다운스트림 작업을 미세 조정하고 훈련할 수 있습니다. 본 연구에서는 2D 및 3D 프레임워크에 쉽게 통합할 수 있는 통일된 3D 공간 표현 방법을 설계하여 더 큰 유연성을 보여주고 기본 모델의 위치 지정과 일관성을 보여줍니다

읽을 때 생각하고 의심할 점:

두 프레임 사이의 관계는 무엇입니까? 마스크 자동 인코딩 기술과 3D 미분 렌더링 기술? 간단히 말하면, Masked Autoencoding은 Autoencoder의 자기 지도 학습 기능을 활용하는 것이고, 렌더링 기술은 생성된 이미지와 원본 이미지 간의 손실 함수를 계산하여 지도 학습을 수행하는 것입니다. 따라서 논리는 여전히 매우 명확합니다.

이 문서에서는 기본 모델 사전 학습 방법을 사용한 다음 다운스트림 감지 방법과 분할 방법을 미세 조정합니다. 이 방법은 또한 현재 대규모 모델이 다운스트림 작업과 함께 작동하는 방식을 이해하는 데 도움이 될 수 있습니다.

타이밍 정보가 합쳐지지 않은 것 같습니다. 결국 Pure Vision 50.2의 NuScenes NDS는 현재 타이밍 감지 방법(StreamPETR, Sparse4D 등)에 비해 여전히 약합니다. 따라서 4D MAE 방법도 시도해 볼 가치가 있습니다. 실제로 GAIA-1에서도 비슷한 아이디어를 언급한 적이 있습니다.

계산량과 메모리 사용량은 어떤가요?

특정 방법:

UniPAD는 주로 마스크 자동 인코딩(MAE, VoxelMAE 등)에서 영감을 받아 복셀 기능 향상을 완성합니다. 장면의 연속적인 3D 형상 구조와 2D 평면의 복잡한 외관 특징을 재구성합니다.

우리의 실험 결과는 UniPAD의 우수성을 완벽하게 입증했습니다. 기존 LiDAR, 카메라 및 LiDAR-카메라 융합 기준과 비교하여 UniPAD의 NDS는 각각 9.1, 7.7 및 6.9 향상되었습니다. 특히, nuScenes 검증 세트에서 우리의 사전 훈련 파이프라인은 73.2의 NDS를 달성하고 3D 의미론적 분할 작업에서 79.4의 mIoU 점수를 달성하여 이전 방법에 비해 최상의 결과를 달성했습니다.

전체 아키텍처:

전체 아키텍처. 프레임워크는 LiDar 및 다중 샷 이미지를 입력으로 사용하고 이러한 다중 모드 데이터는 마스크 생성기를 통해 0으로 채워집니다. 마스크된 임베딩은 복셀 공간으로 변환되고 렌더링 기술은 이 3D 공간에서 RGB 또는 깊이 예측을 생성하는 데 사용됩니다. 이때, 마스크에 의해 가려지지 않은 원본 이미지는 지도 학습을 위한 생성 데이터로 사용될 수 있습니다.

마스크 생성기

Masked AutoEncoder의 마스크는 마스크 생성기에 의해 생성됩니다. 훈련의 난이도를 높여 모델의 표현 능력과 일반화 능력을 향상시키는 것으로 이해될 수 있다. 특정 영역을 선택적으로 가려 포인트 클라우드 데이터와 이미지 데이터를 구별하기 위해 마스크 생성기가 도입되었습니다. 포인트 클라우드 데이터에서는 이미지 데이터에 대해 블록 마스킹 전략을 채택하고 희소 컨볼루션 방법을 사용하며 가시 영역에서만 계산을 수행합니다. 입력 데이터가 마스킹되면 해당 마스킹된 영역에서 후속 인코딩 기능이 0으로 설정되고 모델 처리에서 무시됩니다. 또한 대상을 예측하는 데 사용할 수 있는 정보와 해당 Groundtruth 정보를 포함하는 후속 지도 학습을 제공합니다.

통합 표현

사전 학습 방법을 다양한 데이터 양식에 적용하려면 통합 표현을 찾는 것이 중요합니다. BEV 및 OCC와 같은 과거 방법은 통일된 형태의 식별을 찾고 있습니다. 3D 점을 이미지 평면에 투영하면 깊이 정보가 손실되고 이를 BEV 조감도에 병합하면 높이 관련 세부 정보가 누락됩니다. 따라서 본 논문에서는 두 가지 방식을 모두 OCC와 유사한 3D 복셀 공간인 3D 볼륨 공간으로 변환하는 것을 제안합니다.

렌더링 방법:

미분 렌더링 기술은 저자의 의견으로는 논문의 가장 큰 하이라이트가 되어야 합니다. 기사 통과 NERF와 유사한 샘플링 광선이 다시점 이미지 또는 포인트 클라우드를 통과하고 신경망 구조를 통해 각 3D 점의 색상이나 깊이를 예측하고 최종적으로 광선이 통과한 경로를 통해 2D 매핑을 얻습니다. 이를 통해 이미지의 기하학적 또는 질감 단서를 더 잘 활용하고 모델의 학습 능력과 적용 범위를 향상시킬 수 있습니다.

입력이 샘플링 지점 P(광선 D에 따른 해당 깊이) 및 F(특징 임베딩은 다음과 같이 체적 표현에서 추출할 수 있음)의 3D 좌표일 때 장면을 SDF(암시적 부호 있는 거리 함수 필드)로 표현합니다. 삼선형 보간), SDF는 샘플링 포인트의 SDF 값을 예측하는 MLP로 간주될 수 있습니다. 여기서 F는 P 지점이 위치한 인코딩 코드로 이해될 수 있습니다. 그런 다음 출력은 다음과 같습니다. N(표면 법선의 색상 필드 조건) 및 H(기하학적 특징 벡터) 이때 3D 샘플링 지점의 RGB는 P, D, F, N을 사용하여 MLP를 통해 얻을 수 있습니다. , H를 값과 깊이 값으로 입력한 다음, 광선을 통해 3D 샘플링 지점을 2D 공간에 중첩하여 렌더링 결과를 얻습니다. 여기서 Ray를 사용하는 방법은 기본적으로 Nerf와 동일합니다.

렌더링 방법도 메모리 소비를 최적화해야 하는데 여기에 나열되지 않았습니다. 그러나 이 문제는 보다 중요한 구현 문제입니다.

마스크 및 렌더링 방법의 핵심은 사전 학습된 모델을 학습하는 것입니다. 사전 학습된 모델은 후속 분기 없이도 예측 마스크를 기반으로 학습할 수 있습니다. 사전 훈련된 모델의 후속 작업은 다양한 분기를 통해 RGB 및 깊이 예측을 생성하고 대상 감지/의미론적 분할과 같은 작업을 미세 조정하여 플러그 앤 플레이 기능을 달성합니다.

손실 손실 기능:

손실. 기능은 복잡하지 않습니다.

실험 결과:

다른 최근 연구와의 비교:

실제로 GAIA-1은 이미 timing Mask AutoEncoder 아이디어를 사용하고 있지만 감독 데이터가 다릅니다. 하지만 UniPAD는 예측을 감독하기 위해 3D 공간에서 마스크의 일부를 무작위로 선택합니다. 이 둘을 결합할 수 있는 방법이 나올지 정말 기대됩니다.

또한 UniPAD는 다중 모드 대형 모델을 구축하려는 시도, 또는 세계적인 모델로 간주할 수 있습니다. 기사에서는 이러한 내용을 그다지 강조하지 않습니다.

요약:

이 글은 3D 분야에서 비교적 새로운 Masked Autoencoder 방식으로 보아야 합니다. MAE 방법은 기본 모델의 사전 훈련 단계에서 사용되기 때문에 다양한 정보 양식을 지원하므로 자연스럽게 많은 다운스트림 미세 조정 작업으로 확장될 수 있습니다. 이는 ​​의 설계 아이디어에 매우 가깝습니다. 사전 교육 단계에 초점을 맞춘 LLM은 다중 모드 정보를 캡처하고 다양한 작업에 대한 통합 기반을 제공합니다. 이 방법은 3D 분야 연구에 새로운 아이디어와 가능성을 제공합니다.

이 방법은 3D 분야에서 잠재력이 있을 뿐만 아니라 4D 타이밍 분야로도 확장될 수 있으며 메모리 및 계산량 최적화 측면에서 많은 새로운 작업을 생성하여 미래에 대한 새로운 아이디어와 가능성을 제공할 수 있습니다. 연구.

원본 링크: https://mp.weixin.qq.com/s/e_reCS-Lwr-KVF80z56_ow

위 내용은 UniPAD: 만능 자율주행 사전 훈련 모드! 다양한 인식 작업 지원 가능의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!