Pendaftaran awan titik tidak dapat dielakkan untuk penglihatan 3D! Fahami semua penyelesaian dan cabaran arus perdana dalam satu artikel

Awan titik sebagai koleksi mata dijangka membawa perubahan dalam mendapatkan dan menjana maklumat permukaan tiga dimensi (3D) objek melalui pembinaan semula 3D, pemeriksaan industri dan operasi robot. Proses yang paling mencabar tetapi penting ialah pendaftaran awan titik, iaitu mendapatkan transformasi spatial yang menjajarkan dan memadankan dua awan titik yang diperoleh dalam dua koordinat berbeza. Kajian ini memperkenalkan gambaran keseluruhan dan prinsip asas pendaftaran awan titik, mengklasifikasikan dan membandingkan pelbagai kaedah secara sistematik, dan menyelesaikan masalah teknikal yang wujud dalam pendaftaran awan titik, cuba menyediakan penyelidik akademik di luar lapangan dan Jurutera memberikan bimbingan dan memudahkan perbincangan mengenai visi bersatu untuk pendaftaran awan titik.

Kaedah umum pemerolehan awan titik

dibahagikan kepada kaedah aktif dan pasif Awan titik yang diperoleh secara aktif oleh penderia ialah kaedah aktif, dan kaedah melalui pembinaan semula pada peringkat seterusnya ialah kaedah pasif.

Pembinaan semula padat daripada SFM kepada MVS. (a) SFM. (b) Contoh awan titik yang dihasilkan oleh SfM. (c) Carta aliran algoritma PMVS, algoritma stereo berbilang paparan berasaskan tampalan. (d) Contoh awan titik tumpat yang dihasilkan oleh PMVS.

Kaedah Pembinaan Lampu Berstruktur: Pendaftaran dan pendaftaran yang tidak tegar dalam persekitaran, transformasi boleh diuraikan ke dalam putaran dan terjemahan. awan titik lain sambil mengekalkan bentuk dan saiz yang sama.

Dalam pendaftaran tidak tegar, transformasi tidak tegar diwujudkan untuk membungkus data yang diimbas ke awan titik sasaran. Transformasi tidak tegar termasuk pantulan, putaran, penskalaan dan terjemahan, berbanding hanya terjemahan dan putaran dalam pendaftaran tegar. Pendaftaran tidak tegar digunakan untuk dua sebab utama: (1) ralat tak linear dan penentukuran dalam pemerolehan data boleh menyebabkan herotan frekuensi rendah imbasan objek tegar (2) pendaftaran dilakukan pada pemandangan atau objek yang berubah bentuk dan bergerak mengikut masa .

Contoh pendaftaran tegar: (a) awan dua titik: awan titik baca (hijau) dan awan titik rujukan (merah); ke dalam sistem koordinat biasa.

Walau bagaimanapun, prestasi pendaftaran awan titik dihadkan oleh Varian Overlap, hingar dan outlier, kos pengiraan yang tinggi dan pelbagai petunjuk kejayaan pendaftaran.

Apakah kaedah pendaftaran?

Dalam beberapa dekad yang lalu, semakin banyak kaedah pendaftaran awan titik telah dicadangkan, daripada algoritma ICP klasik kepada penyelesaian yang digabungkan dengan teknologi pembelajaran mendalam.

1) Skim ICP

Algoritma ICP ialah algoritma berulang yang boleh memastikan ketepatan, kelajuan penumpuan dan kestabilan pendaftaran di bawah keadaan yang ideal. Dari satu segi, ICP boleh dilihat sebagai masalah pemaksimuman jangkaan (EM), jadi ia mengira dan mengemas kini transformasi baharu berdasarkan surat-menyurat, yang kemudiannya digunakan pada data baca sehingga metrik ralat menumpu. Walau bagaimanapun, ini tidak menjamin bahawa ICP mencapai optimum global Algoritma ICP boleh dibahagikan secara kasar kepada empat langkah: pemilihan titik, pemadanan titik, penolakan titik dan pengecilan metrik ralat seperti yang ditunjukkan dalam rajah di bawah.

2) Kaedah berasaskan ciri

Seperti yang kita lihat dalam algoritma berasaskan ICP, adalah penting untuk mewujudkan surat-menyurat sebelum mengubah anggaran. Keputusan akhir dijamin jika kami memperoleh surat-menyurat yang sesuai yang menerangkan hubungan yang betul antara dua awan titik. Oleh itu, kita boleh menampal tanda tempat pada sasaran yang diimbas, atau memilih pasangan mata setara secara manual dalam pemprosesan pasca untuk mengira transformasi tempat menarik (mata terpilih), yang akhirnya boleh digunakan untuk membaca awan titik. Seperti yang ditunjukkan dalam Rajah 12(c), awan titik dimuatkan dalam sistem koordinat yang sama dan dilukis dalam warna yang berbeza. Rajah 12(a) dan 12(b) menunjukkan dua awan titik ditangkap pada sudut pandangan yang berbeza, dengan pasangan titik dipilih daripada data rujukan dan membaca data masing-masing, dan keputusan pendaftaran ditunjukkan dalam Rajah 12(d). Walau bagaimanapun, kaedah ini tidak mesra objek pengukuran yang tidak boleh dilampirkan tanda tempat, dan tidak boleh digunakan pada aplikasi yang memerlukan pendaftaran automatik. Pada masa yang sama, untuk meminimumkan ruang carian surat-menyurat dan mengelakkan andaian transformasi awal dalam algoritma berasaskan ICP, pendaftaran berasaskan ciri diperkenalkan, di mana perkara utama yang direka oleh penyelidik diekstrak. Biasanya, pengesanan titik utama dan penubuhan surat-menyurat adalah langkah utama kaedah ini.

Kaedah biasa untuk pengekstrakan titik utama termasuk PFH, SHOT, dll. Ia juga penting untuk mereka bentuk algoritma untuk membuang outlier dan menganggarkan transformasi berdasarkan inlier dengan berkesan.

3) Pendekatan berasaskan pembelajaran

Dalam aplikasi yang menggunakan awan titik sebagai input, strategi tradisional untuk menganggar deskriptor ciri sangat bergantung pada sifat geometri unik objek dalam awan titik. Walau bagaimanapun, data dunia sebenar selalunya khusus sasaran dan mungkin mengandungi satah, outlier dan hingar. Tambahan pula, ketidakpadanan yang dialih keluar selalunya mengandungi maklumat berguna yang boleh digunakan untuk pembelajaran. Teknik berasaskan pembelajaran boleh disesuaikan untuk mengekod maklumat semantik dan boleh digeneralisasikan merentas tugasan tertentu. Kebanyakan strategi pendaftaran yang disepadukan dengan teknik pembelajaran mesin adalah lebih pantas dan lebih mantap daripada kaedah klasik, dan secara fleksibel diperluaskan kepada tugas lain seperti anggaran pose objek dan klasifikasi objek. Begitu juga, cabaran utama dalam pendaftaran awan titik berasaskan pembelajaran ialah cara mengekstrak ciri yang tidak berubah-ubah kepada variasi spatial awan titik dan lebih mantap kepada hingar dan outlier.

Wakil kaedah berasaskan pembelajaran ialah: PointNet, PointNet++, PCRNet, Deep Global Registration, Deep Closest Point, Partial Registration Network, Robust Point Matching, PointNetLK, 3DRegNet.

4) Kaedah dengan fungsi ketumpatan kebarangkalian

Pendaftaran awan titik berdasarkan fungsi ketumpatan kebarangkalian (PDF) menjadikan pendaftaran menggunakan model statistik masalah yang dikaji dengan baik Idea utama kaedah ini adalah menggunakan fungsi ketumpatan kebarangkalian khusus mewakili data, seperti Model Campuran Gaussian (GMM) dan Taburan Normal (ND). Tugas pendaftaran dirumuskan semula sebagai masalah menjajarkan dua pengagihan yang sepadan, diikuti dengan fungsi objektif yang mengukur dan meminimumkan perbezaan statistik antara mereka. Pada masa yang sama, disebabkan oleh perwakilan PDF, awan titik boleh dilihat sebagai pengedaran dan bukannya banyak titik individu, jadi ia mengelakkan anggaran surat-menyurat dan mempunyai prestasi anti-bunyi yang baik, tetapi secara amnya lebih perlahan daripada berasaskan ICP kaedah.

5) Kaedah lain

Pendaftaran Global Pantas. Pendaftaran Global Pantas (FGR) menyediakan strategi pantas untuk pendaftaran awan titik tanpa permulaan. Khususnya, FGR beroperasi pada padanan calon permukaan berbumbung dan tidak melakukan pengemaskinian surat-menyurat atau pertanyaan titik terdekat Apa yang istimewa tentang pendekatan ini ialah ia boleh dihasilkan secara langsung oleh pengoptimuman tunggal bagi satu objektif teguh yang ditakrifkan pada permukaan pendaftaran. Walau bagaimanapun, kaedah sedia ada untuk menyelesaikan pendaftaran awan titik biasanya menjana calon atau berbilang surat-menyurat antara dua awan titik dan kemudian mengira dan mengemas kini keputusan global. Tambahan pula, dalam pendaftaran global yang pantas, surat-menyurat diwujudkan serta-merta dalam pengoptimuman dan tidak dianggarkan lagi dalam langkah-langkah berikut. Oleh itu, carian jiran terdekat yang mahal dielakkan untuk memastikan kos pengiraan rendah. Hasilnya, pemprosesan linear untuk setiap surat-menyurat dalam langkah lelaran dan sistem linear untuk anggaran pose adalah cekap. FGR dinilai pada berbilang set data, seperti penanda aras UWA dan Stanford Bunny, berbanding dengan ICP point-to-point dan point-top, dan varian ICP seperti Go ICP. Eksperimen menunjukkan bahawa FGR berfungsi dengan baik dalam kehadiran bunyi!

Algoritma set kongruen empat mata: Set kongruen 4 mata (4PCS) menyediakan transformasi awal untuk membaca data tanpa memerlukan andaian kedudukan permulaan. Lazimnya, transformasi pendaftaran tegar antara dua awan titik boleh ditakrifkan secara unik oleh sepasang tiga kali ganda, satu daripada data rujukan dan satu lagi daripada data yang dibaca. Walau bagaimanapun, dalam kaedah ini, ia mencari pangkalan 4 mata khas dengan mencari dalam set potensi kecil, iaitu, 4 titik kongruen koplanar dalam setiap awan titik, seperti yang ditunjukkan dalam Rajah 27. Menyelesaikan transformasi tegar optimum dalam set masalah titik sepunya (LCP) terbesar. Algoritma ini mencapai prestasi rapat apabila pertindihan awan titik berpasangan adalah rendah dan outlier hadir. Untuk menyesuaikan diri dengan aplikasi yang berbeza, ramai penyelidik telah memperkenalkan kerja yang lebih penting berkaitan dengan penyelesaian 4PCS klasik.