Penyelidikan eksperimen tentang gabungan Radar-Kamera merentas set data di bawah BEV

Tajuk asal: Kajian Eksperimen Cross-Dataset bagi Radar-Camera Fusion dalam Bird's-Eye View
Pautan kertas: https://arxiv.org/pdf/2309.15465.pdf
Gabungan pengarang: Opel Automobile GmbH Rheinland-Pfalzisit Technischeers Landau German Research Centre for Artificial Intelligence

Idea tesis:

Dengan memanfaatkan maklumat penderia pelengkap, radar gelombang milimeter dan sistem gabungan kamera berpotensi untuk menyediakan keupayaan pemanduan yang sangat mantap dan autonomi untuk sistem bantuan pemandu lanjutan fungsi pemanduan autonomi. Kemajuan terkini dalam pengesanan objek berasaskan kamera memberikan kemungkinan baharu untuk gabungan radar gelombang milimeter dan kamera, yang boleh mengeksploitasi peta ciri mata burung untuk gabungan. Kajian ini mencadangkan rangkaian gabungan baru dan fleksibel dan menilai prestasinya pada dua set data (nuScenes dan View-of-Delft). Keputusan eksperimen menunjukkan bahawa walaupun cawangan kamera memerlukan data latihan yang besar dan pelbagai, cawangan radar gelombang milimeter mendapat lebih banyak manfaat daripada radar gelombang milimeter berprestasi tinggi. Melalui pembelajaran pemindahan, kajian ini meningkatkan prestasi kamera pada set data yang lebih kecil. Hasil penyelidikan selanjutnya menunjukkan bahawa kaedah gabungan radar gelombang milimeter dan kamera adalah jauh lebih baik daripada kaedah garis dasar hanya menggunakan kamera atau hanya radar gelombang milimeter

Reka Bentuk Rangkaian:

Baru-baru ini, trend dalam pengesanan sasaran 3D adalah untuk menyepadukan ciri imej Tukar kepada perwakilan Pandangan Mata Burung (BEV) biasa. Perwakilan ini menyediakan seni bina gabungan fleksibel yang boleh digabungkan antara berbilang kamera atau menggunakan penderia julat. Dalam kerja ini, kami melanjutkan kaedah BEVFusion yang asalnya digunakan untuk gabungan kamera laser untuk gabungan kamera radar gelombang milimeter. Kami melatih dan menilai kaedah gabungan kami yang dicadangkan menggunakan set data radar gelombang milimeter terpilih. Dalam beberapa eksperimen, kami membincangkan kelebihan dan kekurangan setiap set data. Akhir sekali, kami menggunakan pembelajaran pemindahan untuk mencapai penambahbaikan selanjutnya

Inilah perkara yang perlu ditulis semula: Rajah 1 menunjukkan carta alir gabungan radar-kamera gelombang milimeter BEV berdasarkan BEVFusion. Dalam imej kamera yang dijana, kami menyertakan hasil pengesanan radar gelombang milimeter yang diunjurkan dan kotak sempadan sebenar

Artikel ini mengikuti seni bina gabungan BEVFusion. Rajah 1 menunjukkan gambaran keseluruhan rangkaian gabungan gelombang milimeter radar-kamera dalam BEV dalam artikel ini. Ambil perhatian bahawa gabungan berlaku apabila tandatangan radar gelombang kamera dan milimeter disambungkan pada BEV. Di bawah, artikel ini memberikan butiran lanjut untuk setiap blok.

Kandungan yang perlu ditulis semula ialah: A. Pengekod kamera dan transformasi pandangan kamera kepada BEV

Pengekod kamera dan transformasi pandangan menerima pakai idea [15], iaitu rangka kerja fleksibel yang boleh mengekstrak luaran kamera sewenang-wenangnya dan Imej BEV ciri parameter dalaman. Pertama, ciri diekstrak daripada setiap imej menggunakan rangkaian Transformer Swin kecil. Seterusnya, kertas kerja ini menggunakan langkah Angkat dan Percikan [14] untuk menukar ciri imej kepada satah BEV. Untuk tujuan ini, ramalan kedalaman padat diikuti oleh blok berasaskan peraturan di mana ciri ditukar menjadi awan titik pseudo, raster dan terkumpul ke dalam grid BEV.

Pengekod Ciri Lajur Radar

Tujuan blok ini adalah untuk mengekod awan titik radar gelombang milimeter ke dalam ciri BEV pada grid yang sama seperti ciri BEV imej. Untuk tujuan ini, makalah ini menggunakan teknologi pengekodan ciri tiang [16] untuk merasterkan awan titik menjadi voxel tinggi tak terhingga, yang dipanggil tiang.

Kandungan yang perlu ditulis semula ialah: C. Pengekod BEV

Sama seperti [5], ciri BEV radar gelombang milimeter dan kamera dicapai melalui gabungan lata. Ciri bercantum diproses oleh pengekod BEV konvolusi bersama supaya rangkaian boleh mempertimbangkan salah jajaran spatial dan mengeksploitasi sinergi antara modaliti berbeza

D Ketua Pengesan

Kertas ini menggunakan kepala pengesan CenterPoint untuk meramal pusat objek setiap haba kelas. peta. Ketua regresi selanjutnya meramalkan saiz, putaran dan ketinggian objek, serta halaju dan sifat kelas nuScenes. Peta haba dilatih menggunakan kehilangan fokus Gaussian, dan kepala pengesan yang lain dilatih menggunakan kehilangan L1

Hasil eksperimen:

Petikan:

Stäcker, L., Heidenreich, P., Rambach, J., & Stricker, D. (2023 "Kajian percubaan set data silang bagi gabungan radar-kamera daripada pandangan mata"). .

Atas ialah kandungan terperinci Penyelidikan eksperimen tentang gabungan Radar-Kamera merentas set data di bawah BEV. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!