3D 비전을 위해서는 포인트 클라우드 등록이 필수입니다! 하나의 기사로 모든 ​​주요 솔루션과 과제를 이해하세요

포인트의 집합체인 포인트 클라우드는 3차원 재구성, 산업검사, 로봇 운용 등을 통해 사물의 3차원(3D) 표면정보 획득 및 생성에 변화를 가져올 것으로 기대된다. 가장 어렵지만 필수적인 프로세스는 포인트 클라우드 등록, 즉 서로 다른 두 좌표에서 얻은 두 포인트 클라우드를 정렬하고 일치시키는 공간 변환을 얻는 것입니다. 본 리뷰에서는 포인트 클라우드 등록의 개요와 기본 원리를 소개하고, 다양한 방법을 체계적으로 분류 및 비교하며, 포인트 클라우드 등록에 존재하는 기술적 문제를 해결하고, 현장 외부의 학술 연구자와 엔지니어에게 지침을 제공하고 통일된 비전에 대한 논의를 촉진하고자 합니다. 포인트 클라우드 등록을 위해.

포인트 클라우드 획득의 일반적인 방법

은 능동 방법과 수동 방법으로 구분됩니다. 센서에 의해 능동적으로 획득되는 포인트 클라우드는 능동 방법이고, 이후의 재구성 방법은 수동 방법입니다.

SFM에서 MVS로 조밀하게 재구성됩니다. (a) SFM. (b) SfM에서 생성된 포인트 클라우드의 예. (c) 패치 기반 다중 시점 스테레오 알고리즘인 PMVS 알고리즘 흐름도. (d) PMVS에 의해 생성된 조밀한 점 구름의 예.

구조적 조명 재구성 방법:

강성 등록 및 비강성 등록

환경에서 변환은 회전 및 변환으로 분해될 수 있습니다. 적절한 고정 변환 후에 포인트 클라우드가 매핑됩니다. 동일한 모양과 크기를 유지하면서 또 다른 포인트 클라우드를 생성합니다.

비강성 등록에서는 스캔한 데이터를 대상 포인트 클라우드에 래핑하기 위해 비강성 변환이 설정됩니다. 비강체 변환에는 반사, 회전, 배율 조정 및 변환이 포함되며, 고정식 등록에서는 변환 및 회전만 포함됩니다. 비강성 등록은 두 가지 주요 이유로 사용됩니다. (1) 데이터 수집 시 비선형성 및 교정 오류로 인해 강체 스캔의 저주파 왜곡이 발생할 수 있습니다. (2) 시간이 지남에 따라 모양이 바뀌고 움직이는 장면이나 객체에 대해 등록이 수행됩니다. .

고정 등록의 예: (a) 두 포인트 클라우드: 읽기 포인트 클라우드(녹색) 및 참조 포인트 클라우드(빨간색)(b)가 없고 (c) 고정 등록 알고리즘이 있는 경우 포인트 클라우드가 융합됩니다. 공통 좌표계로.

그러나 포인트 클라우드 등록 성능은 Variant Overlap, 노이즈 및 이상값, 높은 계산 비용, 다양한 등록 성공 지표로 인해 제한됩니다.

등록 방법은 무엇인가요?

지난 수십 년 동안 클래식 ICP 알고리즘부터 딥러닝 기술이 결합된 솔루션에 이르기까지 점점 더 많은 포인트 클라우드 등록 방법이 제안되었습니다.

1) ICP 방식

ICP 알고리즘은 이상적인 조건에서 정합의 정확성, 수렴 속도 및 안정성을 보장할 수 있는 반복 알고리즘입니다. 어떤 의미에서 ICP는 EM(기대 최대화) 문제로 볼 수 있으므로 대응을 기반으로 새로운 변환을 계산하고 업데이트한 다음 오류 메트릭이 수렴될 때까지 읽기 데이터에 적용됩니다. 그러나 이는 ICP가 전역 최적에 도달한다는 것을 보장하지 않습니다. ICP 알고리즘은 아래 그림과 같이 점 선택, 점 일치, 점 거부 및 오류 메트릭 최소화의 네 단계로 대략 나눌 수 있습니다.

2) 특징 기반 방법

ICP 기반 알고리즘에서 살펴본 것처럼 변환 추정 전에 일치성을 설정하는 것이 중요합니다. 두 포인트 클라우드 사이의 올바른 관계를 설명하는 적절한 대응 관계를 얻으면 최종 결과가 보장됩니다. 따라서 스캔한 대상에 랜드마크를 붙여넣거나 사후 처리에서 등가 점 쌍을 수동으로 선택하여 관심 지점(선택한 지점)의 변환을 계산할 수 있으며, 이는 궁극적으로 포인트 클라우드를 읽는 데 적용될 수 있습니다. 그림 12(c)와 같이 포인트 클라우드는 동일한 좌표계에 로드되어 서로 다른 색상으로 그려집니다. 그림 12(a)와 12(b)는 참조 데이터와 읽기 데이터에서 각각 선택된 점 쌍으로 서로 다른 시점에서 캡처된 두 개의 포인트 클라우드를 보여 주며, 등록 결과는 그림 12(d)에 표시됩니다. 그러나 이러한 방법은 랜드마크를 부착할 수 없는 측정 개체에 적합하지 않으며 자동 등록이 필요한 응용 프로그램에도 적용할 수 없습니다. 동시에 대응 검색 공간을 최소화하고 ICP 기반 알고리즘의 초기 변환 가정을 피하기 위해 연구자가 설계한 핵심 포인트를 추출하는 특징 기반 등록이 도입되었습니다. 일반적으로 이 방법의 주요 단계는 요점 탐지 및 대응 설정입니다.

핵심 추출의 일반적인 방법에는 PFH, SHOT 등이 있습니다. 또한 이상값을 제거하고, 이상값을 기반으로 변환을 효과적으로 추정할 수 있는 알고리즘을 설계하는 것도 중요합니다.

3) 학습 기반 방법

포인트 클라우드를 입력으로 사용하는 애플리케이션에서 특징 설명자를 추정하기 위한 전통적인 전략은 포인트 클라우드에 있는 개체의 고유한 기하학적 속성에 크게 의존합니다. 그러나 실제 데이터는 대상에 따라 달라지는 경우가 많으며 평면, 이상치 및 노이즈가 포함될 수 있습니다. 또한 제거된 불일치에는 학습에 사용할 수 있는 유용한 정보가 포함되는 경우가 많습니다. 학습 기반 기술은 의미 정보를 인코딩하도록 조정될 수 있으며 특정 작업 전반에 걸쳐 일반화될 수 있습니다. 기계 학습 기술과 통합된 대부분의 등록 전략은 기존 방법보다 빠르고 강력하며 객체 포즈 추정 및 객체 분류와 같은 다른 작업으로 유연하게 확장됩니다. 마찬가지로, 학습 기반 포인트 클라우드 등록의 주요 과제는 포인트 클라우드의 공간적 변화에 변하지 않고 노이즈와 이상값에 더욱 강력한 특징을 추출하는 방법입니다.

학습 기반 방법의 대표자는 PointNet, PointNet++, PCRNet, Deep Global Registration, Deep Closest Point, Partial Registration Network, Robust Point Matching, PointNetLK, 3DRegNet입니다.

4) 확률밀도함수를 이용한 방법

확률밀도함수(PDF)를 기반으로 한 포인트 클라우드 등록은 통계 모델을 사용한 등록을 잘 연구된 문제로 만듭니다. 이 방법의 핵심 아이디어는 특정 확률 밀도 함수를 사용하는 것입니다. GMM(가우스 혼합 모델) 및 ND(정규 분포)와 같은 데이터를 나타냅니다. 등록 작업은 두 개의 해당 분포를 정렬하는 문제로 재구성된 다음 두 분포 간의 통계적 차이를 측정하고 최소화하는 목적 함수로 구성됩니다. 동시에 PDF 표현으로 인해 포인트 클라우드는 많은 개별 포인트가 아닌 분포로 볼 수 있으므로 대응 추정을 피하고 소음 방지 성능이 좋지만 일반적으로 ICP 기반보다 느립니다. 행동 양식.

5) 기타 방법

빠른 글로벌 등록. FGR(Fast Global Registration)은 초기화 없이 포인트 클라우드 등록을 위한 빠른 전략을 제공합니다. 특히, FGR은 덮인 표면의 후보 일치에 대해 작동하며 대응 업데이트나 가장 가까운 점 쿼리를 수행하지 않습니다. 이 접근 방식의 특별한 점은 표면에 조밀하게 정의된 강력한 목표의 단일 최적화를 통해 직접 생성할 수 있다는 것입니다. 등록. 그러나 포인트 클라우드 등록을 해결하기 위한 기존 방법은 일반적으로 두 포인트 클라우드 간의 후보 또는 다중 대응을 생성한 다음 전체 결과를 계산하고 업데이트합니다. 또한 빠른 전역 등록에서는 최적화에서 즉시 일치성이 설정되며 다음 단계에서 다시 추정되지 않습니다. 따라서 계산 비용을 낮게 유지하기 위해 비용이 많이 드는 최근접 이웃 조회를 피합니다. 결과적으로, 반복 단계의 각 대응에 대한 선형 처리와 자세 추정을 위한 선형 시스템이 효율적입니다. FGR은 UWA 벤치마크 및 Stanford Bunny와 같은 여러 데이터 세트에서 지점 간 및 지점 간 ICP 및 Go ICP와 같은 ICP 변형과 비교하여 평가됩니다. 실험에 따르면 FGR은 소음이 있는 환경에서도 잘 작동하는 것으로 나타났습니다!

4점 합동 집합 알고리즘: 4점 합동 집합(4PCS)은 시작 위치 가정 없이 데이터 읽기를 위한 초기 변환을 제공합니다. 일반적으로 두 포인트 클라우드 사이의 엄격한 등록 변환은 참조 데이터와 읽기 데이터의 트리플 쌍으로 고유하게 정의될 수 있습니다. 그러나 이 방법에서는 그림 27과 같이 작은 전위 세트를 검색하여 특별한 4점 베이스, 즉 각 포인트 클라우드에서 동일 평면에 있는 4개의 합동 점을 찾습니다. 최대 LCP(공통점 집합) 문제에서 최적의 강체 변환을 해결합니다. 알고리즘은 쌍을 이루는 점 구름의 중첩이 낮고 이상값이 있을 때 가까운 성능을 달성합니다. 다양한 애플리케이션에 적응하기 위해 많은 연구자들이 기존 4PCS 솔루션과 관련된 더 중요한 작업을 소개했습니다.