3D ビジョンには点群の登録が不可欠です。すべての主流のソリューションと課題を 1 つの記事で理解する

点の集合としての点群は、3D 再構成、工業用検査、ロボット操作などを通じて、物体の 3 次元 (3D) 表面情報の取得と生成に変化をもたらすことが期待されています。最も困難だが重要なプロセスは、点群の登録です。つまり、2 つの異なる座標で取得された 2 つの点群を位置合わせして一致させる空間変換を取得します。このレビューは、点群登録の概要と基本原理を紹介し、さまざまな方法を体系的に分類して比較し、点群登録に存在する技術的問題を解決することで、分野外の学術研究者やエンジニアに指導を提供し、統一されたビジョンに関する議論を促進することを目的としています。点群登録用。

点群取得の一般的な方法は、アクティブ方式とパッシブ方式に分かれており、センサーが能動的に点群を取得するのがアクティブ方式、点群を再構成する方式です。後の段階ではパッシブな方法です。

SFM から MVS への高密度再構築。 (a) SFM。 (b) SfM によって生成された点群の例。 (c) PMVS アルゴリズムのフローチャート、パッチベースのマルチビュー ステレオ アルゴリズム。 (d) PMVS によって生成された高密度点群の例。

#環境では、変換は回転と平行移動に分解できます。適切な剛体変換の後、同じ形状とサイズを維持したまま、1 つの点群が別の点群にマッピングされます。

非剛体レジストレーションでは、スキャンされたデータをターゲット点群にラップするために非剛体変換が確立されます。非剛体変換には、剛体位置合わせの移動と回転のみとは対照的に、反射、回転、スケーリング、および平行移動が含まれます。非剛体レジストレーションは 2 つの主な理由で使用されます: (1) データ収集およびキャリブレーション誤差の非線形性により、剛体のスキャンで低周波歪みが発生する可能性がある; (2) レジストレーションは、形状が変化して移動するシーンまたはオブジェクトに対して実行されます。時間 。

#ただし、点群登録のパフォーマンスは、バリアント オーバーラップ、ノイズと外れ値、高い計算コスト、および登録の成功を示すさまざまな指標によって制限されます。

登録方法にはどのようなものがありますか?

過去数十年にわたり、古典的な ICP アルゴリズムから深層学習テクノロジーと組み合わせたソリューションに至るまで、ますます多くの点群登録方法が提案されてきました。

1) ICP スキーム

ICP アルゴリズムは、理想的な条件下での位置合わせの精度、収束速度、安定性を保証できる反復アルゴリズムです。ある意味では、ICP は期待値最大化 (EM) 問題とみなすことができるため、対応関係に基づいて新しい変換を計算して更新し、エラー メトリックが収束するまで読み取りデータに適用されます。ただし、これは ICP が大域最適に達することを保証するものではなく、ICP アルゴリズムは、下図に示すように、ポイント選択、ポイント マッチング、ポイント拒否、エラー メトリック最小化の 4 つのステップに大別できます。

2) 特徴ベースの方法

ICP ベースのアルゴリズムで見てきたように、推定を変換する前に対応関係を確立することが重要です。 2 つの点群間の正しい関係を記述する適切な対応関係が得られれば、最終結果が保証されます。したがって、スキャンされたターゲットにランドマークを貼り付けるか、後処理で同等の点のペアを手動で選択して、関心のある点 (選択された点) の変換を計算し、最終的に点群の読み取りに適用できます。図 12(c) に示すように、点群は同じ座標系にロードされ、異なる色で描画されます。図 12(a) と図 12(b) は、異なる視点で撮影された 2 つの点群を示し、それぞれ参照データと読み取りデータから点ペアが選択され、位置合わせ結果が図 12(d) に示されています。しかし、これらの方法はランドマークを付けることができない測定対象物には適しておらず、自動登録が必要なアプリケーションには適用できません。同時に、対応関係の検索空間を最小限に抑え、ICP ベースのアルゴリズムでの初期変換の想定を回避するために、研究者によって設計されたキー ポイントが抽出される特徴ベースの登録が導入されます。通常、キーポイントの検出と対応関係の確立がこの方法の主なステップです。

キー ポイント抽出の一般的な方法には、PFH、SHOT などが含まれます。外れ値を除去し、内値に基づいて変換を効果的に推定するアルゴリズムを設計することも重要です。

3) 学習ベースの方法

点群を入力として使用するアプリケーションでは、特徴記述子を推定するための従来の戦略は点に大きく依存します。雲。ただし、実際のデータはターゲット固有であることが多く、平面、外れ値、ノイズが含まれる場合があります。さらに、除去された不一致には、学習に使用できる有用な情報が含まれていることがよくあります。学習ベースの技術は、セマンティック情報をエンコードするために適用でき、特定のタスクにわたって一般化できます。機械学習技術と統合されたほとんどの登録戦略は、従来の方法よりも高速かつ堅牢であり、物体の姿勢推定や物体分類などの他のタスクにも柔軟に拡張できます。同様に、学習ベースの点群登録における重要な課題は、点群の空間変動に対して不変で、ノイズや外れ値に対してより堅牢な特徴を抽出する方法です。

学習ベースの手法の代表的なものは、PointNet、PointNet、PCRNet、Deep Global Registration、Deep Closest Point、Partial Registration Network、Robust Point Matching、PointNetLK、3DRegNet です。

4) 確率密度関数を用いた方法

確率密度関数に基づく点群登録 (PDF) は、登録に統計モデルを使用する研究成果です。素晴らしい質問です。この方法の重要なアイデアは、混合ガウス モデル (GMM) や正規分布 (ND) などの特定の確率密度関数を使用してデータを表すことです。位置合わせタスクは、2 つの対応する分布を位置合わせする問題として再定式化され、その後にそれらの間の統計的差異を測定して最小化する目的関数が続きます。同時に、PDF の表現により、点群は多くの個々の点ではなく分布として見ることができるため、対応関係の推定が回避され、優れた耐ノイズ性能を備えていますが、一般に ICP ベースよりも遅くなります。メソッド。

5) その他の方法

高速グローバル登録。 Fast Global Registration (FGR) は、初期化を行わずに点群を高速に登録する戦略を提供します。具体的には, FGR はカバーされたサーフェスの候補一致に基づいて動作し, 対応関係の更新や最近接点のクエリは実行しません. このアプローチの特別な点は, サーフェス上に密に定義されたロバストな目的の 1 回の最適化によって直接生成できることです.登録。ただし、点群の位置合わせを解決するための既存の方法では、通常、2 つの点群間の対応関係の候補または複数が生成され、全体的な結果が計算されて更新されます。さらに、高速グローバル登録では、対応関係は最適化ですぐに確立され、次のステップで再度推定されることはありません。したがって、計算コストを低く抑えるために、高価な最近傍検索は回避されます。その結果、反復ステップでの各対応に対する線形処理と姿勢推定のための線形システムが効率的になります。 FGR は、UWA ベンチマークや Stanford Bunny などの複数のデータセットで評価され、ポイントツーポイントおよびポイントトップ ICP、および Go ICP などの ICP バリアントと比較されます。実験によると、FGR はノイズが存在する場合でも良好なパフォーマンスを発揮します。

4 点合同集合アルゴリズム: 4 点合同集合 (4PCS) は、開始位置の仮定を必要とせずにデータを読み取るための初期変換を提供します。通常、2 つの点群間の剛体位置合わせ変換は、1 つは参照データから、もう 1 つは読み取りデータからのトリプルのペアによって一意に定義できます。ただし、この方法では、図 27 に示すように、小さなポテンシャル セット、つまり各点群内の 4 つの同一平面上の合同点を検索することによって、特別な 4 点の基底を探します。最大共通点集合 (LCP) 問題における最適な剛体変換を解きます。このアルゴリズムは、ペアになった点群の重なりが低く、外れ値が存在する場合にほぼ同等のパフォーマンスを実現します。さまざまなアプリケーションに適応するために、多くの研究者が古典的な 4PCS ソリューションに関連するより重要な研究を導入してきました。