2024년에는 자율주행 어노테이션 산업이 월드모델로 전복될 것인가?

1. 데이터 주석이 직면한 문제(특히 BEV 작업 기반)

BEV 변환기 기반 작업이 증가하면서 BEV 기반 작업에 대한 의존도가 점점 더 커지고 있습니다. . 현재로서는 2D-3D 조인트 장애물 주석이든, 재구성된 포인트 클라우드 클립을 기반으로 한 차선이든, 점유 작업 주석이든 여전히 비용이 많이 듭니다(2D 주석 작업에 비해 훨씬 더 비쌉니다). 물론 업계에는 대형 모델을 기반으로 한 반자동 또는 자동 주석 연구도 많이 있습니다. 반면, 자율주행을 위한 데이터 수집 주기가 너무 길고, 일련의 데이터 규정 준수 문제가 수반됩니다. 예를 들어, 평상형 트럭이 카메라를 가로지르는 장면이나 도시의 차선 수가 많거나 적거나 적거나 많게 바뀌는 장면을 수집하려면 이러한 특수 구성을 수행하는 수집 인력이 필요합니다. 장면.

2.24는 세계 모델에게 특이점의 순간이 될까요?

월드 모델의 개념은 넓은 범위를 포괄하며 센서 시뮬레이션으로 간주될 수 있습니다. Tesla AI Day에서 저는 시뮬레이션 기술이 데이터 주석에 미치는 파괴적인 영향을 처음으로 목격했습니다.

그림 1: Tesla의 자동 주석 효과그림 2 4D 재구성 효과

처음 뉴스를 봤을 때 마치 Tesla 전기 자동차처럼 전통을 뒤집는 특별한 기능을 발견한 것처럼 매우 놀랐습니다. 점점 더 많은 연구자들이 이 분야에 투자하면서 우리는 많은 우수한 연구 결과를 보고 있습니다. UniSim의 자율주행 시뮬레이션 시스템에는 재생, 동적 개체 동작 제어, 프리뷰 렌더링 등의 기능이 있으며 이러한 기능은 훈련을 받는 모든 모델 연구자에게 매우 바람직합니다.

LiDAR를 시뮬레이션할 수도 있습니다.

자세한 내용은 https://zhuanlan.zhihu.com/p/636695025를 참조하세요. 이 방향에 대한 더 많은 유사한 연구가 있습니다.

NeuRAD: 자율 주행을 위한 신경 렌더링

DrivingGaussian: 동적 자율 주행 장면 주변을 위한 복합 가우시안 스플래팅 위의 방법 중 대부분은 Nerf와 관련이 있으며 전체 파이프라인이 상대적으로 무겁습니다. 또 다른 방향이 있는데, 확산에 기초한 연구 방향이다. 좋은 연구도 이루어졌습니다.

BEVControl: BEV 스케치 레이아웃을 통해 다관점 일관성으로 스트리트 뷰 요소를 정확하게 제어