Die Registrierung von Punktwolken ist für die 3D-Vision unumgänglich! Verstehen Sie alle gängigen Lösungen und Herausforderungen in einem Artikel

Punktwolken als Sammlung von Punkten sollen durch 3D-Rekonstruktion, industrielle Inspektion und Roboterbetrieb eine Veränderung bei der Erfassung und Generierung dreidimensionaler (3D) Oberflächeninformationen von Objekten bewirken. Der anspruchsvollste, aber wesentlichste Prozess ist die Punktwolkenregistrierung, d. h. das Erhalten einer räumlichen Transformation, die zwei in zwei verschiedenen Koordinaten erhaltene Punktwolken ausrichtet und abgleicht. In dieser Rezension werden ein Überblick und die Grundprinzipien der Punktwolkenregistrierung vorgestellt, verschiedene Methoden systematisch klassifiziert und verglichen und die technischen Probleme bei der Punktwolkenregistrierung gelöst. Dabei wird versucht, akademischen Forschern außerhalb des Fachgebiets und Ingenieuren Orientierung zu geben und Diskussionen über eine einheitliche Vision zu erleichtern zur Punktwolkenregistrierung.

Die allgemeine Methode zur Punktwolkenerfassung

ist in aktive und passive Methoden unterteilt. Die vom Sensor aktiv erfasste Punktwolke ist die aktive Methode, und die Methode durch Rekonstruktion in der späteren Phase ist die passive Methode.

Dichte Rekonstruktion von SFM zu MVS. (a) SFM. (b) Beispiel einer von SfM generierten Punktwolke. (c) Flussdiagramm des PMVS-Algorithmus, ein Patch-basierter Multi-View-Stereo-Algorithmus. (d) Beispiel einer von PMVS erzeugten dichten Punktwolke.

Strukturierte Lichtrekonstruktionsmethoden:

starre Registrierung und nicht starre Registrierung

In einer Umgebung kann die Transformation in Rotation und Translation zerlegt werden. Nach entsprechender starrer Transformation wird eine Punktwolke abgebildet eine weitere Punktwolke unter Beibehaltung derselben Form und Größe.

Bei der nicht starren Registrierung wird eine nicht starre Transformation eingerichtet, um die Scandaten in die Zielpunktwolke einzubinden. Nicht starre Transformationen umfassen Spiegelungen, Drehungen, Skalierungen und Verschiebungen, im Gegensatz zu nur Verschiebungen und Drehungen bei starrer Registrierung. Die nicht starre Registrierung wird aus zwei Hauptgründen verwendet: (1) Nichtlinearitäten und Kalibrierungsfehler bei der Datenerfassung können niederfrequente Verzerrungen bei Scans starrer Objekte verursachen. (2) Die Registrierung wird an Szenen oder Objekten durchgeführt, die ihre Form ändern und sich darüber bewegen Zeit .

Beispiele für starre Registrierung: (a) zwei Punktwolken: Lesepunktwolke (grün) und Referenzpunktwolke (rot); ohne (b) und mit (c) Fall des starren Registrierungsalgorithmus werden die Punktwolken verschmolzen in ein gemeinsames Koordinatensystem.

Die Leistung der Punktwolkenregistrierung wird jedoch durch Variantenüberlappung, Rauschen und Ausreißer, hohe Rechenkosten und verschiedene Indikatoren für den Registrierungserfolg begrenzt.

Welche Registrierungsmethoden gibt es?

In den letzten Jahrzehnten wurden immer mehr Methoden zur Punktwolkenregistrierung vorgeschlagen, von klassischen ICP-Algorithmen bis hin zu Lösungen in Kombination mit Deep-Learning-Technologie.

1) ICP-Schema

Der ICP-Algorithmus ist ein iterativer Algorithmus, der die Genauigkeit, Konvergenzgeschwindigkeit und Stabilität der Registrierung unter idealen Bedingungen gewährleisten kann. In gewissem Sinne kann ICP als ein Problem der Erwartungsmaximierung (EM) betrachtet werden, sodass es neue Transformationen basierend auf Korrespondenzen berechnet und aktualisiert, die dann auf die gelesenen Daten angewendet werden, bis die Fehlermetrik konvergiert. Dies garantiert jedoch nicht, dass ICP das globale Optimum erreicht. Der ICP-Algorithmus kann grob in vier Schritte unterteilt werden: Punktauswahl, Punktanpassung, Punktzurückweisung und Fehlermetrikminimierung, wie in der folgenden Abbildung dargestellt.

2) Merkmalsbasierte Methoden

Wie wir bei ICP-basierten Algorithmen gesehen haben, ist es entscheidend, vor der Transformationsschätzung eine Korrespondenz herzustellen. Das Endergebnis ist garantiert, wenn wir eine entsprechende Korrespondenz erhalten, die die korrekte Beziehung zwischen den beiden Punktwolken beschreibt. Daher können wir Orientierungspunkte auf dem gescannten Ziel einfügen oder in der Nachbearbeitung manuell äquivalente Punktpaare auswählen, um die Transformation der interessierenden Punkte (ausgewählte Punkte) zu berechnen, die letztendlich zum Lesen der Punktwolke angewendet werden kann. Wie in Abbildung 12(c) dargestellt, werden die Punktwolken in dasselbe Koordinatensystem geladen und in verschiedenen Farben gezeichnet. Die Abbildungen 12(a) und 12(b) zeigen zwei Punktwolken, die aus unterschiedlichen Blickwinkeln erfasst wurden, wobei Punktpaare aus den Referenzdaten bzw. Lesedaten ausgewählt wurden. Die Registrierungsergebnisse sind in Abbildung 12(d) dargestellt. Diese Methoden eignen sich jedoch weder für Messobjekte, an denen keine Orientierungspunkte angebracht werden können, noch können sie auf Anwendungen angewendet werden, die eine automatische Registrierung erfordern. Um den Suchraum von Korrespondenzen zu minimieren und die Annahme anfänglicher Transformationen in ICP-basierten Algorithmen zu vermeiden, wird gleichzeitig die merkmalsbasierte Registrierung eingeführt, bei der von den Forschern entworfene Schlüsselpunkte extrahiert werden. Normalerweise sind die Erkennung von Schlüsselpunkten und die Herstellung von Korrespondenzen die Hauptschritte dieser Methode.

Zu den gängigen Methoden zur Schlüsselpunktextraktion gehören PFH, SHOT usw. Es ist auch wichtig, einen Algorithmus zu entwerfen, um Ausreißer zu entfernen und die Transformation basierend auf Inliers effektiv zu schätzen.

3) Lernbasierte Ansätze

In Anwendungen, die Punktwolken als Eingabe verwenden, stützen sich herkömmliche Strategien zur Schätzung von Merkmalsdeskriptoren stark auf die einzigartigen geometrischen Eigenschaften der Objekte in der Punktwolke. Allerdings sind reale Daten oft zielspezifisch und können Ebenen, Ausreißer und Rauschen enthalten. Darüber hinaus enthalten die entfernten Fehlpaarungen oft nützliche Informationen, die zum Lernen genutzt werden können. Lernbasierte Techniken können zur Kodierung semantischer Informationen angepasst und auf bestimmte Aufgaben verallgemeinert werden. Die meisten in Techniken des maschinellen Lernens integrierten Registrierungsstrategien sind schneller und robuster als klassische Methoden und lassen sich flexibel auf andere Aufgaben wie die Schätzung der Objektposition und die Objektklassifizierung übertragen. Ebenso besteht eine zentrale Herausforderung bei der lernbasierten Punktwolkenregistrierung darin, Merkmale zu extrahieren, die gegenüber der räumlichen Variation der Punktwolke invariant und robuster gegenüber Rauschen und Ausreißern sind.

Vertreter lernbasierter Methoden sind: PointNet, PointNet++, PCRNet, Deep Global Registration, Deep Closest Point, Partial Registration Network, Robust Point Matching, PointNetLK, 3DRegNet.

4) Methode mit Wahrscheinlichkeitsdichtefunktion

Die Punktwolkenregistrierung basierend auf der Wahrscheinlichkeitsdichtefunktion (PDF) macht die Registrierung mithilfe statistischer Modelle zu einem gut untersuchten Problem. Die Schlüsselidee dieser Methode ist die Verwendung spezifischer Wahrscheinlichkeitsdichtefunktionen stellen die Daten dar, z. B. das Gaußsche Mischungsmodell (GMM) und die Normalverteilung (ND). Die Registrierungsaufgabe wird als Problem der Ausrichtung zweier entsprechender Verteilungen umformuliert, gefolgt von einer Zielfunktion, die den statistischen Unterschied zwischen ihnen misst und minimiert. Gleichzeitig kann die Punktwolke aufgrund der PDF-Darstellung als Verteilung und nicht als viele einzelne Punkte betrachtet werden, wodurch die Schätzung der Korrespondenz vermieden wird und eine gute Anti-Rausch-Leistung erzielt wird, sie ist jedoch im Allgemeinen langsamer als ICP-basiert Methoden.

5) Andere Methoden

Schnelle globale Registrierung. Fast Global Registration (FGR) bietet eine schnelle Strategie zur Punktwolkenregistrierung, die keine Initialisierung erfordert. Insbesondere arbeitet FGR mit Kandidatenübereinstimmungen der abgedeckten Oberfläche und führt keine Korrespondenzaktualisierungen oder Abfragen nach nächstgelegenen Punkten durch. Das Besondere an diesem Ansatz ist, dass er direkt durch eine einzige Optimierung eines robusten Ziels erzeugt werden kann, das dicht auf der Oberfläche definiert ist Anmeldung. Bestehende Methoden zur Lösung der Punktwolkenregistrierung generieren jedoch normalerweise Kandidaten- oder Mehrfachkorrespondenzen zwischen zwei Punktwolken und berechnen und aktualisieren dann die globalen Ergebnisse. Darüber hinaus wird bei der schnellen globalen Registrierung die Übereinstimmung sofort in der Optimierung hergestellt und in den folgenden Schritten nicht erneut geschätzt. Daher wird eine teure Suche nach dem nächsten Nachbarn vermieden, um die Rechenkosten niedrig zu halten. Dadurch sind eine lineare Verarbeitung für jede Korrespondenz in iterativen Schritten und ein lineares System zur Posenschätzung effizient. FGR wird anhand mehrerer Datensätze bewertet, beispielsweise des UWA-Benchmarks und des Stanford Bunny, im Vergleich mit Punkt-zu-Punkt- und Punkt-Top-ICP sowie ICP-Varianten wie Go ICP. Experimente zeigen, dass FGR bei Lärm eine gute Leistung erbringt!

4-Punkte-Kongruenzmengen-Algorithmus: Die 4-Punkte-Kongruenzmenge (4PCS) bietet eine anfängliche Transformation zum Lesen von Daten ohne Startpositionsannahmen. Typischerweise kann eine starre Registrierungstransformation zwischen zwei Punktwolken eindeutig durch ein Paar von Tripeln definiert werden, eines aus den Referenzdaten und das andere aus den gelesenen Daten. Bei dieser Methode wird jedoch nach speziellen 4-Punkt-Basen gesucht, d. h. 4 koplanaren kongruenten Punkten in jeder Punktwolke, indem in einem kleinen Potentialsatz gesucht wird, wie in Abbildung 27 dargestellt. Lösung der optimalen starren Transformation im Problem der größten Menge gemeinsamer Punkte (LCP). Dieser Algorithmus erreicht eine ähnliche Leistung, wenn die Überlappung gepaarter Punktwolken gering ist und Ausreißer vorhanden sind. Um sich an unterschiedliche Anwendungen anzupassen, haben viele Forscher wichtigere Arbeiten im Zusammenhang mit der klassischen 4PCS-Lösung eingeführt.