Idea pengesanan Range View3D Baharu: RangePerception

Tajuk Ditulis Semula: Kesedaran Julat: Menjinakkan Pandangan Julat LiDAR untuk Pengesanan Objek 3D yang Cekap dan Tepat

Sila klik pautan berikut untuk melihat kertas: https://openreview.net/pdf?id=9kFQEJSyCM

Penggabungan Pengarang: Shanghai Makmal Perisikan Universiti Fudan Selepas menulis semula: Unit: Shanghai Artificial Intelligence Laboratory Fudan University

Idea tesis:

Pada masa ini, kaedah pengesanan 3D berasaskan LiDAR terutamanya menggunakan pandangan mata burung (BEV) atau asas julat (RV) Kaedah BEV bergantung pada vokselisasi dan lilitan 3D, yang mengakibatkan proses latihan dan inferens yang kurang cekap. Sebaliknya, kaedah RV menunjukkan kecekapan yang lebih tinggi kerana kekompakan dan keserasiannya dengan lilitan 2D, tetapi prestasinya masih ketinggalan daripada kaedah BEV. Untuk menghapuskan jurang prestasi sambil mengekalkan kecekapan kaedah RV, kajian ini mencadangkan rangka kerja pengesanan objek 3D berasaskan RV yang cekap dan tepat yang dipanggil RangePerception. Melalui analisis yang teliti, kajian ini mengenal pasti dua cabaran utama yang menghalang prestasi kaedah RV sedia ada: 1) Terdapat jurang domain semula jadi antara koordinat dunia 3D yang digunakan dalam output dan koordinat imej julat 2D yang digunakan dalam input, yang mengakibatkan julat daripada Ia menjadi sukar untuk mengekstrak maklumat daripada imej 2) Imej julat asal mempunyai masalah kerosakan visual, yang menjejaskan ketepatan pengesanan sasaran yang terletak di tepi imej julat. Untuk menangani cabaran ini, kertas kerja ini mencadangkan dua algoritma baru bernama Range Aware Kernel (RAK) dan Modul Pemulihan Penglihatan (VRM), yang memudahkan aliran maklumat perwakilan imej julat dan hasil pengesanan 3D koordinat dunia. Dengan bantuan RAK dan VRM, RangePerception meningkatkan purata L1/L2 AP sebanyak 3.25/4.18 berbanding kaedah RV terkini RangeDet pada Waymo Open Dataset. RangePerception ialah kaedah pengesanan 3D berasaskan RV yang pertama Berbanding dengan kaedah berasaskan BEV yang terkenal CenterPoint, purata APnya lebih tinggi sedikit, dan kelajuan inferens adalah 1.3 kali ganda daripada CenterPoint

Reka bentuk rangkaian:

. Artikel ini menunjukkan rangka kerja pengesanan 3D berasaskan RV yang cekap dan tepat yang dipanggil RangePerception. Untuk mengatasi cabaran utama di atas, dua algoritma baru bernama Range Aware Kernel (RAK) dan Modul Pemulihan Penglihatan (VRM) dicadangkan dan disepadukan ke dalam rangka kerja RangePerception, yang kedua-duanya memudahkan perwakilan imej julat dan aliran Maklumat 3D dunia koordinat hasil ujian. Dengan bantuan RAK dan VRM, RangePerception kami mencapai prestasi terkini sebagai kaedah pengesanan 3D berasaskan julat pandangan dengan menyampaikan 73.62, 80.24 dan 70.33 L1 3D AP pada WOD untuk kenderaan & pejalan kaki & penunggang basikal. Sumbangan artikel ini adalah seperti berikut.

RangePerception Framework Artikel ini memperkenalkan rangka kerja pengesanan 3D berprestasi tinggi yang dipanggil RangePerception. RangePerception ialah pengesan 3D berasaskan RV yang pertama, mencapai purata L1/L2 AP sebanyak 74.73/69.17 pada WOD, yang lebih baik daripada pengesan berasaskan RV terkini RangeDet, yang mempunyai purata L1/L2 AP 71.48/64.99, menunjukkan peningkatan 3.25/4.18. RangePerception juga menunjukkan prestasi yang lebih baik sedikit berbanding kaedah berasaskan BEV yang digunakan secara meluas CenterPoint [6], yang mencapai purata L1/L2 AP sebanyak 74.25/68.04. Terutamanya, kelajuan inferens RangePerception adalah 1.3 kali lebih pantas daripada CenterPoint, membuktikan ia lebih sesuai untuk penggunaan masa nyata pada kenderaan autonomi.

Range Aware Kernel Sebahagian daripada pengekstrak ciri RangePerception, Range Aware Kernel (RAK) ialah algoritma terobosan yang disesuaikan untuk rangkaian berasaskan RV. RAK menguraikan ruang imej julat kepada berbilang subruang dan mengatasi isu salah jajaran spatial dengan mengekstrak ciri secara bebas daripada setiap subruang. Keputusan eksperimen menunjukkan bahawa RAK meningkatkan purata L1/L2 AP sebanyak 5.75/5.99 dengan kos pengiraan yang boleh diabaikan.

Modul Pemulihan Visi Bagi menyelesaikan isu rasuah penglihatan (isu Rasuah Penglihatan), penyelidikan ini mencadangkan Modul Pemulihan Visi (VRM). VRM mengembangkan medan penerimaan rangkaian tulang belakang dengan memulihkan kawasan yang rosak sebelum ini. VRM amat membantu untuk pengesanan kenderaan, seperti yang ditunjukkan dalam bahagian percubaan.

Rajah 2: Rangka kerja RangePerception mengambil imej julat I sebagai input dan menjana ramalan yang padat. Untuk meningkatkan kesan pembelajaran perwakilan, rangka kerja menyepadukan modul VRM dan RAK dalam urutan sebelum Range Backbone. Kemudian, Pemangkas Lewahan yang direka khas digunakan untuk menghapuskan lebihan dalam ciri mendalam, dengan itu mengurangkan kos pengiraan Rangkaian Cadangan Rantau seterusnya dan lapisan pasca pemprosesan

Rajah 1: (a-d) Contoh bingkai isyarat LiDAR teratas, masing-masing diwakili oleh RV dan BEV. (e) Fenomena Penyelewengan Ruang. (f) Fenomena Rasuah Wawasan.

Rajah 3: Range Aware Kernel menguraikan ruang imej julat kepada berbilang subruang dan mengatasi isu salah jajaran spatial dengan mengekstrak ciri bebas daripada setiap subruang.

Rajah 5: Modul Pemulihan Penglihatan. Dengan mentakrifkan sudut pemulihan δ, VRM membina ruang sfera lanjutan dengan sudut azimut θ ∈ [−δ, 2π + δ]. Oleh itu, masalah rasuah visual pada kedua-dua belah imej julat I diselesaikan, dengan ketara memudahkan proses pengekstrakan ciri dari tepi I.

Keputusan percubaan:

Ringkasan: Kerangka kerja-kerja Rangka ini, jelaskan tiga dimensi

boleh menyelesaikan ketidakselarasan ruang dan kerosakan visual dengan berkesan teka-teki. Dengan memperkenalkan teknologi RAK dan VRM, RangePerception telah menunjukkan keupayaan pengesanan yang sangat baik pada WOD, sambil turut menunjukkan potensi penggunaan praktikal yang cekap dan tepat

Petikan:

@inproceedings{bai2023rangeperception,title={RangePerception: Taming Li{DAR} Range View for Efficient and Accurate 3D Object Detection},author={Yeqi BAI and Ben Fei and Youquan Liu and Tao MA and Yuenan Hou and Botian Shi and Yikang LI},booktitle={Thirty-seventh Conference on Neural Information Processing Systems},year={2023},url={https://openreview.net/forum?id=9kFQEJSyCM}}

Salin selepas log masuk

Pautan asal: https://mp.q.weix: https://mp.q.weix .com/s/EJCl5kLxhHaa7lh98g2I6w

Atas ialah kandungan terperinci Idea pengesanan Range View3D Baharu: RangePerception. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!