Latar belakang yang lebih berbutir dan kawalan latar depan, pengeditan yang lebih pantas: Pendekatan dua peringkat BEVControl

Artikel ini akan memperkenalkan kaedah untuk menjana imej paparan jalan berbilang perspektif dengan tepat melalui reka letak BEV Sketch

Dalam bidang pemanduan autonomi, sintesis imej Digunakan secara meluas untuk meningkatkan prestasi tugas persepsi hiliran

Dalam bidang penglihatan komputer, masalah penyelidikan yang telah lama wujud dalam meningkatkan prestasi model persepsi dicapai dengan mensintesis imej. Dalam sistem pemanduan autonomi bertumpu penglihatan, menggunakan kamera berbilang pandangan, masalah ini menjadi lebih ketara kerana beberapa adegan ekor panjang tidak boleh dikumpulkan

Seperti yang ditunjukkan dalam Rajah 1(a), kaedah penjanaan yang sedia ada memasukkan semantik. struktur BEV gaya segmentasi ke dalam rangkaian penjanaan dan mengeluarkan imej berbilang paparan yang munasabah. Apabila dinilai semata-mata pada metrik peringkat pemandangan, kaedah sedia ada nampaknya mampu mensintesis imej paparan jalan fotorealistik. Walau bagaimanapun, setelah dizum masuk, kami mendapati ia gagal menghasilkan butiran peringkat objek yang tepat. Dalam rajah tersebut, kami menunjukkan kesilapan biasa algoritma penjanaan terkini, iaitu kenderaan yang dijana sepenuhnya berorientasikan ke arah bertentangan berbanding dengan kotak sempadan 3D sasaran. Tambahan pula, menyunting struktur BEV dalam gaya segmentasi semantik adalah tugas yang sukar dan memerlukan banyak tenaga kerja

Oleh itu, kami mencadangkan kaedah dua peringkat bernama BEVControl untuk menyediakan latar belakang yang lebih halus dan kawalan geometri latar depan, seperti yang ditunjukkan dalam Rajah 1(b). BEVControl menyokong input struktur BEV gaya lakaran, membolehkan pengeditan cepat dan mudah. Selain itu, BEVControl kami menguraikan konsistensi visual kepada dua sub-matlamat: konsistensi geometri antara pemandangan jalan dan pandangan mata burung melalui Konsistensi penampilan antara pemandangan jalan melalui Penyelaras# 🎜🎜#

#🎜🎜 #

Pautan kertas:

//m.sbmmt.com/link/1531beb762df4029513ebf9295e0d34f#🎜 🎜##🎜🎜🎜🎜🎜🎜🎜🎜🎜 #Kaedah Rangka Kerja

#🎜🎜 #BEVControl ialah rangkaian terjana daripada struktur UNet daripada modul. Setiap modul mempunyai dua elemen iaitu Pengawal dan Penyelaras.

Input: Lakaran BEV, imej hingar berbilang paparan dan gesaan teks untuk pengeditan mudah Output: imej berbilang paparan.

Perincian kaedah

• #🎜

#🎜#🎜##🎜#🎜 #🎜 Proses tayangan kamera bersyarat. Input ialah lakaran BEV. Outputnya ialah keadaan latar depan berbilang paparan dan keadaan latar belakang.

Pengawal: Menerima maklumat latar depan dan latar belakang lakaran pandangan kamera dengan cara yang memerhatikan diri, dan output sama seperti lakaran BEV menampilkan landskap jalan yang konsisten secara geometri.

• Penyelaras: Menggunakan mekanisme perhatian silang silang dan elemen merentas untuk mencapai interaksi kontekstual paparan silang dan ciri paparan jalan keluaran dengan konsistensi penampilan. Cadangan metrik penilaian , jalan mIoU, dsb.) untuk menilai kualiti penjanaan.

Kami mendapati bahawa adalah mustahil untuk menilai keupayaan generatif sebenar rangkaian penjanaan hanya menggunakan metrik ini, seperti yang ditunjukkan dalam rajah di bawah. Keputusan kualitatif dan kuantitatif yang dilaporkan menunjukkan bahawa kedua-dua kumpulan menjana imej Street View dengan skor FID yang sama tetapi keupayaan yang sangat berbeza untuk kawalan terperinci ke atas latar depan dan latar belakang.

Oleh itu, kami mencadangkan satu set penunjuk penilaian untuk mengukur keupayaan kawalan rangkaian penjanaan.

Keputusan Kuantitatif

#🎜🎜🎜##🎜🎜🎜🎜🎜🎜🎜#Keputusan Kuantitatif

#🎜🎜🎜🎜##🎜🎜🎜 -of-the-art Perbandingan kaedah pada penunjuk penilaian yang dicadangkan.

• Gunakan BEVControl untuk peningkatan data bagi menambah baik tugas pengesanan sasaran.

Hasil kualitatif

• Perbandingan BEVControl dan kaedah terkini pada set pengesahan NuScenes.

Kesan demo

Kandungan yang perlu ditulis semula ialah: Rujukan

Xu R , Zhou B . Menjana imej paparan jalan daripada reka letak pandangan mata burung[J].

Atas ialah kandungan terperinci Latar belakang yang lebih berbutir dan kawalan latar depan, pengeditan yang lebih pantas: Pendekatan dua peringkat BEVControl. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!