자율주행의 최초 순수 시각적 정적 재구성

순수한 시각적 라벨링 솔루션은 주로 비전과 동적 라벨링을 위한 GPS, IMU 및 휠 속도 센서의 일부 데이터를 사용합니다. 물론 대량 생산 시나리오의 경우 순수 비전일 필요는 없습니다. 일부 대량 생산 차량에는 고체 레이더(AT128)와 같은 센서가 장착됩니다. 대량 생산 관점에서 데이터 폐쇄 루프를 만들고 이러한 센서를 모두 사용하면 동적 개체에 라벨을 붙이는 문제를 효과적으로 해결할 수 있습니다. 그러나 우리 계획에는 고체 레이더가 없습니다. 따라서 가장 일반적인 대량 생산 라벨링 솔루션을 소개하겠습니다.

순수한 시각적 주석 솔루션의 핵심은 고정밀 포즈 재구성에 있습니다. 재구성 정확도를 보장하기 위해 SFM(Structure from Motion) 포즈 재구성 방식을 사용합니다. 그러나 기존 SFM, 특히 증분 SFM은 매우 느리고 계산 비용이 많이 듭니다. 계산 복잡도는 O(n^4)입니다. 여기서 n은 이미지 수입니다. 이러한 종류의 재구성 효율성은 대규모 모델의 데이터 주석에 허용되지 않습니다. SFM 솔루션을 일부 개선했습니다.

개선된 클립 재구성은 주로 세 가지 모듈로 나뉩니다. 1) 다중 센서 데이터, GNSS, IMU 및 휠 속도계를 사용하여 포즈_그래프 최적화를 구성하고 이 알고리즘을 Wheel-Imu-GNSS -Odometry( WIGO); 2) 이미지의 특징 추출 및 일치, 초기 3D 포인트를 얻기 위해 초기화된 포즈를 직접 사용하여 삼각측량 3) 마지막으로 전역 BA(번들 조정)가 수행됩니다. 저희 솔루션은 증분 SFM을 피하고, 다른 클립 간에 병렬 작업을 실현할 수 있어 기존 증분 재구성에 비해 포즈 재구성의 효율성이 크게 향상됩니다. 시간 효율성 향상.

단일 재구성 프로세스 중에 우리 솔루션도 일부 최적화를 수행했습니다. 예를 들어, 우리는 학습 기반 기능(Superpoint 및 Superglue)을 사용했는데, 하나는 특징점이고 다른 하나는 일치 방법으로 기존 SIFT 핵심 포인트를 대체했습니다. NN 기능 학습의 장점은 한편으로는 일부 맞춤형 요구 사항을 충족하고 일부 약한 텍스처와 어두운 조명 상황에서 견고성을 향상시키기 위해 데이터 기반 방식으로 규칙을 설계할 수 있다는 것입니다. 키포인트 감지 및 매칭의 효율성. 우리는 몇 가지 비교 실험을 수행한 결과 야간 장면에서 NN 기능의 성공률이 SFIT의 성공률보다 20%에서 80%로 약 4배 더 높다는 것을 발견했습니다.

단일 클립의 재구성 결과를 얻은 후 여러 클립을 집계합니다. 기존 HDmap 매핑 구조 매칭 방식과 달리, 집계의 정확성을 보장하기 위해 특징점 수준 집계를 채택합니다. 즉, 특징점 매칭을 통해 클립 간의 집계 제약 조건을 구현합니다. 이 작업은 SLAM의 루프 폐쇄 감지와 유사합니다. 먼저 GPS를 사용하여 일부 후보 일치 프레임을 결정한 다음 특징점과 설명을 사용하여 이미지를 일치시킵니다. 마지막으로 이러한 루프 폐쇄 제약 조건을 결합하여 전역 BA(번들)를 구성합니다. 조정) 및 최적화. 현재 우리 솔루션의 정확도와 RTE 지수는 기존의 일부 시각적 SLAM 또는 매핑 솔루션을 훨씬 능가합니다.

실험: colmap cuda 버전을 사용하고, 180장의 사진을 사용하고, 3848*2168 해상도를 사용하고, 내부 매개변수를 수동으로 설정하고, 나머지는 기본 설정을 사용하여 희소 재구성에 약 15분이 소요되고, 전체 밀도 재구성에는 매우 오랜 시간이 걸립니다. 시간 (1-2h)

재구성 결과 통계

특징점도

희소 재구성 효과

직선 단면의 전반적인 효과

그라운드 콘 효과

높이의 속도 제한 기호 효과

교차로 얼룩말 교차 효과

또한 수렴되지 않는 이미지 세트를 시도했지만 수렴되지 않았습니다. 정적 자아 필터링, 형성. 차량의 움직임에 따라 50-100m마다 클립 높은 동적 장면 동적 포인트 필터링, 터널 장면 포즈

원주 및 파노라마 멀티 카메라 사용: 포인트 매칭 지도 최적화, 내부 및 외부 매개변수 최적화 항목, 기존 오돔 사용 기능이 있습니다.

https://github.com/colmap/colmap/blob/main/pycolmap/custom_bundle_adjustment.py

pyceres.solve(solver_options, Bundle_adjuster.problem, summary)

3DGS는 조밀한 재구성을 가속화합니다. 그렇지 않으면 너무 오래 걸립니다. 받아들이다