CVPR\'24 Lisan |. Melihat kehidupan masa lalu dan masa kini pengesan awan titik jarang SAFDNet!

Ditulis di hadapan & pemahaman peribadi pengarang

Pengesanan objek awan titik 3D adalah penting untuk persepsi pemanduan autonomi Cara mempelajari perwakilan ciri dari data awan titik jarang adalah cabaran utama dalam bidang pengesanan objek awan titik 3D. . Dalam artikel ini, kami akan memperkenalkan HEDNet yang diterbitkan oleh pasukan dalam NeurIPS 2023 dan SAFDNet dalam CVPR 2024. HEDNet memfokuskan pada menyelesaikan masalah bahawa rangkaian neural konvolusi jarang sedia ada sukar untuk menangkap kebergantungan antara ciri jarak jauh, manakala SAFDNet dibina berdasarkan HEDNet pengesan awan titik jarang tulen. Dalam pengesanan objek awan titik, kaedah tradisional sering bergantung pada pengekstrak ciri rekaan tangan, yang mempunyai keberkesanan terhad apabila memproses data awan titik jarang. Dalam beberapa tahun kebelakangan ini, kaedah berasaskan pembelajaran mendalam telah mencapai kemajuan yang ketara dalam bidang ini. HEDNet menggunakan rangkaian neural konvolusi untuk mengekstrak ciri daripada data awan titik jarang, dan menyelesaikan masalah utama dalam data awan titik jarang melalui struktur rangkaian tertentu, seperti menangkap kebergantungan antara ciri jarak jauh. Kaedah ini ada dalam kertas kerja NeurIPS 2023

Kehidupan sebelumnya - HEDNet

Latar belakang penyelidikan

Kaedah arus perdana biasanya menukar awan titik tidak berstruktur kepada elemen biasa dan menggunakan rangkaian neural konvolusi yang jarang untuk mengekstrak ciri atau rangkaian neural Transformer. Kebanyakan rangkaian neural konvolusi jarang sedia ada dibina terutamanya dengan menyusun modul sisa manifold submanifold (SSR) Setiap modul SSR mengandungi dua konvolusi submanifold menggunakan konvolusi kecil (Submanifold Sparse, SS). Walau bagaimanapun, lilitan submanifold memerlukan kesederhanaan peta ciri input dan output untuk kekal malar, yang menghalang model daripada menangkap kebergantungan antara ciri yang jauh. Satu penyelesaian yang mungkin adalah untuk menggantikan lilitan submanifold dalam modul SSR dengan lilitan jarang (RS) biasa. Walau bagaimanapun, apabila kedalaman rangkaian meningkat, ini mengakibatkan kezaliman peta ciri yang lebih rendah, mengakibatkan peningkatan yang ketara dalam kos pengiraan. Sesetengah penyelidikan cuba menggunakan rangkaian neural convolutional jarang atau Transformer berdasarkan kernel konvolusi besar untuk menangkap kebergantungan antara ciri jarak jauh, tetapi kaedah ini sama ada tidak membawa peningkatan dalam ketepatan atau memerlukan kos pengiraan yang lebih tinggi. Ringkasnya, kami masih kekurangan kaedah yang boleh menangkap kebergantungan antara ciri yang jauh dengan cekap.

Pengenalan kaedah

Modul SSR dan modul RSR

Untuk meningkatkan kecekapan model, kebanyakan pengesan objek awan titik 3D sedia ada menggunakan konvolusi jarang untuk mengekstrak ciri. Konvolusi jarang terutamanya termasuk konvolusi RS dan konvolusi SS. Konvolusi RS akan menyebarkan ciri jarang ke kawasan bersebelahan semasa proses pengiraan, sekali gus mengurangkan kejiran peta ciri. Sebaliknya, lilitan SS mengekalkan kesederhanaan peta ciri input dan output tidak berubah. Disebabkan oleh kos pengiraan konvolusi RS dengan mengurangkan kesederhanaan peta ciri, konvolusi RS biasanya hanya digunakan untuk pensampelan turun peta ciri dalam kaedah sedia ada. Sebaliknya, kebanyakan kaedah berasaskan elemen membina rangkaian neural konvolusi yang jarang dengan menyusun modul SSR untuk mengekstrak ciri awan titik. Setiap modul SSR mengandungi dua konvolusi SS dan sambungan langkau yang menggabungkan ciri input dan output.

Rajah 1(a) menunjukkan struktur satu modul SSR. Ciri sah dalam rajah merujuk kepada ciri bukan sifar, manakala nilai ciri kosong adalah sifar, yang bermaksud bahawa kedudukan asalnya tidak mengandungi awan titik. Kami mentakrifkan sparsiti peta ciri sebagai nisbah kawasan yang diduduki oleh ciri kosong kepada jumlah kawasan peta ciri. Dalam modul SSR, peta ciri input ditukarkan oleh dua lilitan SS untuk mendapatkan peta ciri output Pada masa yang sama, maklumat peta ciri input disepadukan terus ke dalam peta ciri output melalui sambungan langkau (Skip conn.) . Konvolusi SS hanya memproses ciri yang sah untuk memastikan peta ciri keluaran modul SSR mempunyai kezaliman yang sama seperti peta ciri input. Walau bagaimanapun, reka bentuk sedemikian menghalang interaksi maklumat antara ciri yang terputus. Sebagai contoh, titik ciri yang ditandakan oleh asterisk dalam peta ciri teratas tidak boleh menerima maklumat daripada tiga titik ciri yang ditandai dengan segi tiga merah di luar kotak titik merah dalam peta ciri bawah, yang mengehadkan keupayaan model untuk memodelkan kebergantungan antara ciri jarak jauh Kebolehan.

Rajah 1 Perbandingan struktur modul SSR, RSR dan SED

Memandangkan masalah di atas, penyelesaian yang mungkin adalah menggantikan konvolusi SS dalam modul SSR dengan konvolusi RS untuk menangkap pergantungan antara ciri jarak jauh. Kami memanggil modul yang diubah suai ini sebagai modul Regular Sparse Residual (RSR), dan strukturnya ditunjukkan dalam Rajah 1(b). Dalam rajah, ciri yang diperluaskan ialah ciri kosong dalam kejiranan ciri yang sah. Konvolusi RS memproses kedua-dua ciri dan ciri yang berkesan untuk disebarkan, dan pusat kernel konvolusinya merentasi kawasan ciri ini Reka bentuk ini menghasilkan kezaliman yang lebih rendah dalam imej ciri keluaran. Konvolusi RS bertindan akan mengurangkan kesederhanaan peta ciri dengan lebih cepat, mengakibatkan pengurangan ketara dalam kecekapan model. Ini juga merupakan sebab mengapa kaedah sedia ada biasanya menggunakan konvolusi RS untuk pensampelan turun ciri. Di sini, adalah lebih sesuai untuk kita menterjemahkan ciri yang diperluaskan kepada ciri untuk disebarkan.

Modul SED dan modul DED

Matlamat reka bentuk modul SED adalah untuk mengatasi batasan modul SSR. Modul SED memendekkan jarak spatial antara ciri yang jauh melalui pensampelan turun ciri, dan pada masa yang sama memulihkan maklumat terperinci yang hilang melalui gabungan ciri berbilang skala. Rajah 1(c) menunjukkan contoh modul SED dengan dua skala ciri. Modul ini mula-mula menggunakan konvolusi RS 3x3 dengan langkah 3 untuk pensampelan turun ciri (Ke bawah). Selepas pensampelan rendah ciri, ciri berkesan yang terputus dalam peta ciri bawah disepadukan ke dalam peta ciri tengah dan ciri berkesan bersebelahan. Kemudian, interaksi antara ciri berkesan dicapai dengan menggunakan modul SSR untuk mengekstrak ciri pada peta ciri perantaraan. Akhir sekali, peta ciri perantaraan ditambah sampel (UP) untuk dipadankan dengan resolusi peta ciri input. Perlu diingat bahawa di sini hanya ciri sampel yang dicontohi ke kawasan yang sepadan dengan ciri yang sah dalam peta ciri input. Oleh itu, modul SED boleh mengekalkan kesederhanaan peta ciri. Matlamat reka bentuk modul SED adalah untuk mengatasi batasan modul SSR. Modul SED memendekkan jarak spatial antara ciri yang jauh melalui pensampelan turun ciri, dan pada masa yang sama memulihkan maklumat terperinci yang hilang melalui gabungan ciri berbilang skala. Rajah 1(c) menunjukkan contoh modul SED dengan dua skala ciri. Modul ini mula-mula menggunakan konvolusi RS 3x3 dengan langkah 3 untuk pensampelan turun ciri (Ke bawah). Selepas pensampelan rendah ciri, ciri berkesan yang terputus dalam peta ciri bawah disepadukan ke dalam peta ciri tengah dan ciri berkesan bersebelahan. Kemudian, interaksi antara ciri berkesan dicapai dengan menggunakan modul SSR untuk mengekstrak ciri pada peta ciri perantaraan. Akhir sekali, peta ciri perantaraan ditambah sampel (UP) untuk dipadankan dengan resolusi peta ciri input. Perlu diingat bahawa di sini hanya ciri sampel yang dicontohi ke kawasan yang sepadan dengan ciri yang sah dalam peta ciri input. Oleh itu, modul SED boleh mengekalkan kesederhanaan peta ciri. Matlamat reka bentuk modul SED adalah untuk mengatasi batasan modul SSR Modul SED menunjukkan pelaksanaan khusus modul SED dengan tiga skala ciri. Nombor dalam kurungan mewakili nisbah resolusi peta ciri yang sepadan dengan resolusi peta ciri input. Modul SED menggunakan struktur codec asimetrik, yang menggunakan pengekod untuk mengekstrak ciri berbilang skala dan secara beransur-ansur menggabungkan ciri berbilang skala yang diekstrak melalui penyahkod. Modul SED menggunakan konvolusi RS sebagai lapisan pensampelan turun ciri dan penyahkonvolusian jarang sebagai lapisan pensampelan tinggi ciri. Dengan menggunakan struktur penyahkod pengekod, modul SED memudahkan interaksi maklumat antara ciri terputus dalam ruang, dengan itu membolehkan model menangkap kebergantungan antara ciri yang jauh.

Rajah 2 struktur modul SED dan DED

Sebaliknya, pengesan awan titik 3D arus perdana terutamanya bergantung pada ciri pusat objek untuk ramalan, tetapi dalam peta ciri yang diekstrak oleh rangkaian konvolusi yang jarang, kawasan pusat objek mungkin wujud Lubang, terutamanya dalam objek besar. Untuk menyelesaikan masalah ini, kami mencadangkan modul DED, yang strukturnya ditunjukkan dalam Rajah 2(b). Modul DED mempunyai struktur yang sama seperti modul SED, ia menggantikan modul SSR dalam modul SED dengan modul Dense Residual (DR), dan menggantikan konvolusi RS yang digunakan untuk pensampelan turun ciri dengan DR dengan langkah 2 modul dan menggantikan jarang penyahkonvolusi untuk pensampelan ciri dengan penyahkonvolusian padat. Reka bentuk ini membolehkan modul DED meresapkan ciri-ciri jarang dengan berkesan ke arah kawasan tengah objek.

HEDNet

Berdasarkan modul SED dan modul DED, kami mencadangkan rangkaian codec hierarki HEDNet. Seperti yang ditunjukkan dalam Rajah 3, HEDNet mengekstrak ciri jarang peringkat tinggi melalui rangkaian tulang belakang jarang 3D, kemudian meresap ciri jarang ke kawasan tengah objek melalui rangkaian tulang belakang padat 2D, dan akhirnya menghantar output ciri oleh 2D rangkaian tulang belakang yang padat ke kepala pengesan untuk ramalan tugas. Untuk kemudahan pembentangan, peta ciri dan lapisan pensampelan turun ciri berikutnya ditinggalkan dalam rajah. Secara makroskopik, HEDNet mengguna pakai struktur rangkaian hierarki yang serupa dengan SECOND, dan resolusi peta cirinya berkurangan secara mikroskopik, komponen teras HEDNet modul SED dan modul DED kedua-duanya menggunakan struktur codec. Dari sinilah nama HEDNet berasal.

Rajah 3 Rangka kerja keseluruhan HEDNet

Little easter egg

Mengapa kita terfikir untuk menggunakan struktur codec? Malah, HEDNet telah diilhamkan oleh kerja kami sebelum ini CEDNet: Rangkaian Pengekod-Penyahkod Cascade untuk Ramalan Padat (dipanggil CFNet sebelum nama itu ditukar). Jika anda berminat, anda boleh membaca kertas kerja kami.

Hasil eksperimen

Kami membandingkan prestasi komprehensif HEDNet dengan kaedah terkemuka sebelumnya, dan hasilnya ditunjukkan dalam Rajah 4. Berbanding dengan LargeKernel3D berdasarkan kernel konvolusi besar CNN dan DSVT-Voxel berdasarkan Transformer, HEDNet mencapai hasil yang lebih baik dalam ketepatan pengesanan dan kelajuan inferens model. Perlu dinyatakan bahawa berbanding dengan kaedah terkini DSVT yang terkini, HEDNet mencapai ketepatan pengesanan yang lebih tinggi dan meningkatkan kelajuan inferens model sebanyak 50%. Keputusan yang lebih terperinci boleh didapati dalam kertas kami.

. rangkaian mengekstrak ciri untuk ramalan. Kami memanggil pengesan jenis ini sebagai

pengesan hibrid, dan strukturnya ditunjukkan dalam Rajah 5(a). Kaedah jenis ini berprestasi baik dalam senario pengesanan jarak kecil (<75 meter), tetapi apabila julat penderiaan berkembang, kos pengiraan untuk menggunakan peta ciri padat meningkat secara mendadak, mengehadkan penggunaannya dalam julat besar (>200 meter) senario pengesanan. Penyelesaian yang mungkin adalah membina

pengesan jarang tulen

dengan mengalih keluar peta ciri padat dalam pengesan hibrid sedia ada, tetapi ini akan membawa kepada kemerosotan yang ketara dalam prestasi pengesanan model, kerana kebanyakan pengesan hibrid pada masa ini bergantung pada pusat objek. digunakan untuk ramalan Apabila menggunakan pengesan jarang tulen untuk mengekstrak ciri, kawasan pusat objek besar biasanya kosong Ini adalah

masalah ciri pusat objek

. Oleh itu, mempelajari perwakilan objek yang sesuai adalah penting untuk membina pengesan yang jarang.

Rajah 5 Perbandingan struktur pengesan hibrid, FSDv1 dan SAFDNet

Untuk menyelesaikan masalah kehilangan ciri pusat objek, FSDv1 (Rajah 5(b)) membahagikan awan titik asal kepada titik latar depan dan titik latar belakang , dan kemudian melalui Mekanisme pengundian titik tengah mengelompokkan titik latar depan dan mengekstrak ciri contoh daripada setiap kelompok untuk ramalan awal, yang diperhalusi lagi melalui Ketua Pembetulan Kumpulan. Untuk mengurangkan bias induktif yang diperkenalkan oleh pengekstrakan manual ciri contoh, FSDv2 menggunakan modul voxelization maya untuk menggantikan operasi pengelompokan tika dalam FSDv1. Siri kaedah FSD agak berbeza daripada rangka kerja pengesanan yang digunakan secara meluas seperti CenterPoint, dan memperkenalkan sejumlah besar hiperparameter, menjadikannya mencabar untuk menggunakan kaedah ini dalam senario sebenar. Berbeza daripada siri kaedah FSD, VoxelNeXt meramal secara langsung berdasarkan ciri voxel yang paling hampir dengan pusat objek, tetapi mengorbankan ketepatan pengesanan.

Jadi, apakah rupa pengesan awan titik jarang tulen yang kita mahukan? Pertama, strukturnya hendaklah ringkas, supaya ia boleh digunakan secara langsung ke dalam aplikasi praktikal Idea intuitif adalah untuk membuat perubahan minimum untuk membina pengesan jarang tulen berdasarkan seni bina pengesan hibrid yang digunakan secara meluas seperti CenterPoint, kedua prestasi Ia mestilah sekurang-kurangnya sepadan dengan pengesan hibrid terkemuka semasa dan boleh digunakan pada julat senario pengesanan yang berbeza. Pengenalan kaedah

Bermula daripada dua keperluan di atas, kami membina pengesan objek awan titik 3D tulen SAFDNet berdasarkan HEDNet, yang struktur makronya ditunjukkan dalam Rajah 5(c). SAFDNet mula-mula menggunakan pengekstrak ciri voxel jarang untuk mengekstrak ciri awan titik jarang, dan kemudian menggunakan strategi Penyesuaian Ciri Penyesuaian (AFD) dan rangkaian saraf konvolusional jarang 2D untuk meresapkan ciri jarang ke kawasan tengah objek untuk menyelesaikan masalah masalah pusat objek Masalah ciri yang hilang, dan akhirnya ramalan berdasarkan ciri voxel yang jarang. SAFDNet boleh melakukan pengiraan yang cekap menggunakan hanya ciri yang jarang, dan kebanyakan reka bentuk struktur dan hiperparameternya konsisten dengan pengesan hibrid garis dasar, menjadikannya mudah untuk menyesuaikan diri dengan senario aplikasi sebenar untuk menggantikan pengesan hibrid sedia ada. Struktur khusus SAFDNet diperkenalkan di bawah.

Rangka kerja keseluruhan SAFDNet

Rajah 6 menunjukkan rangka kerja keseluruhan SAFDNet. Sama seperti pengesan hibrid sedia ada, SAFDNet terutamanya terdiri daripada tiga bahagian: rangkaian tulang belakang jarang 3D, rangkaian tulang belakang jarang 2D dan kepala pengesanan jarang. Rangkaian tulang belakang jarang 3D digunakan untuk mengekstrak ciri voxel jarang 3D dan menukar ciri ini kepada ciri BEV jarang 2D. Rangkaian tulang belakang jarang 3D menggunakan modul 3D-EDB untuk menggalakkan interaksi maklumat antara ciri jarak jauh (modul 3D-EDB ialah modul SED yang dibina berdasarkan lilitan jarang 3D, dan modul 2D-EDB di bawah adalah serupa). Rangkaian tulang belakang jarang 2D menerima keluaran ciri BEV jarang oleh rangkaian tulang belakang jarang 3D sebagai input Ia mula-mula mengklasifikasikan setiap voxel untuk menentukan sama ada pusat geometri setiap voxel berada dalam kotak sempadan objek kategori tertentu atau sama ada ia tergolong dalam. kawasan latar belakang Kemudian, ciri-ciri jarang disebarkan ke kawasan tengah objek melalui operasi AFD dan modul 2D-EDB. Bahagian ini adalah komponen teras SAFDNet. Kepala pengesan jarang membuat ramalan berdasarkan keluaran ciri BEV jarang oleh rangkaian tulang belakang jarang 2D. SAFDNet mengguna pakai reka bentuk kepala pengesanan yang dicadangkan oleh CenterPoint, dan kami membuat beberapa pelarasan padanya untuk menyesuaikan diri dengan ciri yang jarang. Sila lihat kertas untuk butiran lanjut.

Rajah 6 rangka kerja keseluruhan SAFDNet

Adaptive Feature Diffusion (AFD)

Oleh kerana awan titik yang dihasilkan oleh lidar diedarkan terutamanya pada permukaan objek, menggunakan pengesan jarang tulen untuk mengekstrak ciri untuk ramalan akan menghadapi masalah kehilangan ciri pusat objek. Jadi bolehkah pengesan mengekstrak ciri lebih dekat atau terletak di tengah-tengah objek sambil mengekalkan kesederhanaan ciri sebanyak mungkin? Idea intuitif adalah untuk menyebarkan ciri-ciri jarang ke voxel jiran. Rajah 6(a) menunjukkan contoh peta ciri jarang Titik merah dalam rajah mewakili pusat objek daripada objek. Petak biru gelap ialah voksel bukan kosong yang pusat geometrinya terletak di luar kotak sempadan objek, dan petak putih ialah voxel kosong. Setiap voxel tidak kosong sepadan dengan ciri tidak kosong. Rajah 7(b) diperoleh dengan meresapkan ciri tidak kosong secara seragam dalam Rajah 7(a) ke kejiranan KxK (K ialah 5). Voksel bukan kosong yang tersebar ditunjukkan dalam oren muda atau biru muda.

Rajah 7 Gambarajah skema resapan ciri seragam dan resapan ciri suai

Dengan menganalisis keluaran peta ciri jarang oleh rangkaian tulang belakang jarang 3D, kita perhatikan bahawa: (a) kurang daripada 10% voxel berada dalam kotak sempadan objek; (b) Objek kecil biasanya mempunyai ciri bukan nol berhampiran atau pada voxel tengahnya. Pemerhatian ini menunjukkan bahawa menyebarkan semua ciri bukan nol ke dalam domain saiz yang sama mungkin tidak diperlukan, terutamanya untuk voxel dalam kotak sempadan objek kecil dan di kawasan latar belakang. Oleh itu, kami mencadangkan strategi resapan ciri penyesuaian yang melaraskan julat resapan secara dinamik berdasarkan lokasi ciri voxel. Seperti yang ditunjukkan dalam Rajah 7(c), strategi ini membawa ciri voxel dalam kotak sempadan objek besar lebih dekat dengan pusat objek dengan memperuntukkan julat resapan yang lebih besar kepada ciri ini, sementara pada masa yang sama dengan menetapkan ciri voxel dalam kotak sempadan objek kecil dan di kawasan latar belakang Ciri-ciri Voxel diberikan julat resapan yang lebih kecil untuk mengekalkan keterlanjuran ciri sebanyak mungkin. Untuk melaksanakan strategi ini, pengelasan voxel (pengkelasan Voxel) diperlukan untuk menentukan sama ada pusat geometri mana-mana voxel tidak kosong berada dalam kotak sempadan kategori objek tertentu atau tergolong dalam kawasan latar belakang. Sila rujuk kertas untuk butiran lanjut tentang klasifikasi voxel. Dengan menggunakan strategi resapan ciri adaptif, pengesan dapat mengekalkan kezaliman ciri sebanyak mungkin, dengan itu mendapat manfaat daripada pengiraan ciri jarang yang cekap.

Keputusan Eksperimen Utama

Kami membandingkan prestasi komprehensif SAFDNet dengan kaedah terbaik sebelum ini, dan hasilnya ditunjukkan dalam Rajah 8. Pada set data Terbuka Waymo dengan julat pengesanan yang lebih kecil, SAFDNet mencapai ketepatan pengesanan yang setanding dengan pengesan jarang tulen terbaik sebelumnya FSDv2 dan pengesan hibrid kami yang dicadangkan HEDNet, tetapi kelajuan inferens SAFDNet ialah 2 kali ganda daripada FSDv2 dan HEDNet 1.2 kali. Pada set data Argoverse2 dengan julat pengesanan yang besar, berbanding dengan pengesan jarang tulen FSDv2, SAFDNet meningkatkan peta penunjuk sebanyak 2.1%, dan kelajuan inferens mencecah 1.3 kali ganda daripada FSDv2 berbanding dengan pengesan hibrid HEDNet, SAFDNet bertambah baik Penunjuk mAP meningkat sebanyak 2.6%, dan kelajuan inferens mencapai 2.1 kali ganda daripada HEDNet. Di samping itu, apabila julat pengesanan adalah besar, penggunaan memori pengesan hibrid HEDNet jauh lebih besar daripada pengesan jarang tulen. Kesimpulannya, SAFDNet sesuai untuk julat senario pengesanan yang berbeza dan mempunyai prestasi cemerlang.

Rajah 8 Keputusan percubaan utama

Kerja masa depan

SAFDNet adalah penyelesaian untuk pengesan awan titik jarang tulen, jadi adakah ia mempunyai masalah? Sebenarnya, SAFDNet hanyalah produk perantaraan idea kami tentang pengesan jarang tulen. Penulis percaya bahawa ia terlalu ganas dan tidak ringkas dan cukup elegan. Sila nantikan kerja susulan kami!

Kod HEDNet dan SAFDNet telah menjadi sumber terbuka dan semua orang dialu-alukan untuk menggunakannya. Ini pautannya: https://github.com/zhanggang001/HEDNet