FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai metrik mAP sebanyak 49.5% pada set data kamera fisheye Valeo untuk pemanduan autonomi. Pada masa ini, ini adalah kajian pertama mengenai algoritma pengesanan sasaran berdasarkan kamera fisheye dalam senario pemanduan autonomi. Pautan artikel: https://arxiv.org/pdf/2404.13443.pdf elips, dan Poligon, dsb. diwakili dalam pelbagai cara. Untuk membolehkan rangkaian dialihkan ke perkakasan automotif berkuasa rendah, kami menggunakan ResNet18 sebagai pengekod. Berbanding dengan pengekod Darknet53 standard, parameter dikurangkan lebih daripada 60%. Seni bina rangkaian yang dicadangkan ditunjukkan dalam rajah di bawah.

Bounding Box Detection

Model kotak bounding kami adalah sama seperti YOLOv3, kecuali pengekod Darknet53 digantikan dengan pengekod ResNet18. Sama seperti YOLOv3, pengesanan objek dilakukan pada pelbagai skala. Untuk setiap grid dalam setiap skala, ramalkan lebar objek (), ketinggian (), koordinat pusat objek (,) dan kelas objek. Akhir sekali, penindasan bukan maksimum digunakan untuk menapis pengesanan berlebihan.

Pengesanan Kotak Bounding Berputar

Dalam model ini, orientasi kotak diundur bersama dengan maklumat kotak biasa (,,,). Julat kebenaran tanah berarah (-180 hingga +180°) dinormalkan antara -1 dan +1.

Ellipse Detection

Ellipse Regression adalah sama dengan Oriented Box Regression. Satu-satunya perbezaan ialah perwakilan keluaran. Jadi fungsi kerugian juga sama dengan kehilangan kotak yang diarahkan.

Polygon Detection

Kaedah segmentasi contoh berasaskan poligon kami yang dicadangkan sangat serupa dengan kaedah PolarMask dan PolyYOLO. Daripada menggunakan titik poligon jarang dan ramalan skala tunggal seperti PolyYOLO. Kami menggunakan anotasi poligon padat dan ramalan berbilang skala.

Perbandingan percubaan

Kami menilai pada set data fisheye Valeo, yang mempunyai 60K imej. Imej-imej itu ditangkap daripada 4 kamera pandangan sekeliling di Eropah, Amerika Utara dan Asia.

Setiap model dibandingkan menggunakan metrik ketepatan purata (mAP) dengan ambang IoU sebanyak 50%. Keputusan ditunjukkan dalam jadual di bawah. Setiap algoritma dinilai berdasarkan dua kriteria—prestasi yang sama dan prestasi pembahagian contoh.