Kaedah penyesuaian domain sebenar maya untuk pengesanan garis lorong dan klasifikasi pemanduan autonomi

kertas arXiv "Penyesuaian Domain Sim-ke-Sebenar untuk Pengesanan Lorong dan Klasifikasi dalam Pemanduan Autonomi", Mei 2022, bekerja di Universiti Waterloo, Kanada.

Walaupun rangka kerja pengesanan dan pengelasan yang diawasi untuk pemanduan autonomi memerlukan set data beranotasi yang besar, Penyesuaian Domain Tanpa Selia (UDA) didorong oleh data sintetik yang dihasilkan dengan menerangi persekitaran simulasi yang realistik , Tanpa diawasi Penyesuaian Domain) Kaedah ialah penyelesaian kos rendah dan kurang memakan masa. Makalah ini mencadangkan satu skim UDA kaedah diskriminatif dan generatif permusuhan untuk aplikasi pengesanan dan pengelasan garis lorong dalam pemanduan autonomi.

Juga memperkenalkan penjana set data Simulanes, yang mengambil kesempatan daripada pemandangan trafik yang besar dan keadaan cuaca CARLA untuk mencipta set data sintetik semula jadi. Rangka kerja UDA yang dicadangkan mengambil set data sintetik berlabel sebagai domain sumber, manakala domain sasaran ialah data sebenar tidak berlabel. Gunakan penjanaan lawan dan diskriminator ciri untuk menyahpepijat model pembelajaran dan meramalkan lokasi lorong dan kategori domain sasaran. Penilaian dilakukan dengan set data sebenar dan sintetik.

Rangka kerja UDA sumber terbuka berada di ​​githubcom​​/anita-hu/sim2real-lane-detection, dan penjana set data berada di github.com/anita-hu/ simulanes.

Pemanduan dunia sebenar adalah pelbagai, dengan keadaan trafik, cuaca dan persekitaran yang berbeza-beza. Oleh itu, kepelbagaian senario simulasi adalah penting untuk kebolehsuaian model yang baik dalam dunia sebenar. Terdapat banyak simulator sumber terbuka untuk pemanduan autonomi, iaitu CARLA dan LGSVL. Artikel ini memilih CARLA untuk menjana set data simulasi Selain API Python yang fleksibel, CARLA juga mengandungi kandungan peta pralukisan yang kaya meliputi pemandangan bandar, luar bandar dan lebuh raya.

Penjana data simulasi Simulanes menjana pelbagai senario simulasi dalam persekitaran bandar, luar bandar dan lebuh raya, termasuk 15 kategori lorong dan cuaca dinamik. Rajah menunjukkan sampel daripada set data sintetik. Peserta pejalan kaki dan kenderaan dijana secara rawak dan diletakkan pada peta, meningkatkan kesukaran set data melalui oklusi. Menurut set data TuSimple dan CULane, bilangan maksimum lorong berhampiran kenderaan adalah terhad kepada 4 dan penambat baris digunakan sebagai label.

Memandangkan simulator CARLA tidak menyediakan label lokasi lorong secara langsung, sistem titik laluan CARLA digunakan untuk menjana label. Titik laluan CARLA ialah kedudukan yang dipratentukan untuk diikuti oleh autopilot kenderaan, terletak di tengah lorong. Untuk mendapatkan label kedudukan lorong, titik laluan lorong semasa digerakkan ke kiri dan kanan oleh W/2, di mana W ialah lebar lorong yang diberikan oleh simulator. Titik laluan yang dialihkan ini kemudiannya ditayangkan ke dalam sistem koordinat kamera dan dipasang spline untuk menjana label di sepanjang titik penambat baris yang telah ditetapkan. Label kelas diberikan oleh simulator dan merupakan salah satu daripada 15 kelas.

Untuk menjana set data dengan N bingkai, bahagikan N sama rata merentas semua peta yang tersedia. Daripada peta CARLA lalai, bandar 1, 3, 4, 5, 7 dan 10 telah digunakan, manakala bandar 2 dan 6 tidak digunakan kerana perbezaan antara label kedudukan lorong yang diekstrak dan kedudukan lorong imej. Untuk setiap peta, peserta kenderaan dibiakkan di lokasi rawak dan bergerak secara rawak. Cuaca dinamik dicapai dengan menukar kedudukan matahari dengan lancar sebagai fungsi sinusoidal masa dan kadangkala menghasilkan ribut, yang menjejaskan penampilan persekitaran melalui pembolehubah seperti litupan awan, isipadu air dan air berdiri. Untuk mengelak daripada menyimpan berbilang bingkai di lokasi yang sama, semak sama ada kenderaan itu telah berpindah dari lokasi bingkai sebelumnya dan jana semula kenderaan baharu jika ia telah tidak bergerak terlalu lama.

Apabila algoritma sim-to-real digunakan pada pengesanan lorong, pendekatan hujung ke hujung diguna pakai dan model Ultra-Fast-Lane-Detection (UFLD) digunakan sebagai rangkaian asas. UFLD dipilih kerana seni binanya yang ringan boleh mencapai 300 bingkai/saat pada resolusi input yang sama sambil mencapai prestasi yang setanding dengan kaedah terkini. UFLD merumuskan tugas pengesanan lorong sebagai kaedah pemilihan berasaskan baris, di mana setiap lorong diwakili oleh satu siri kedudukan mendatar baris yang dipratentukan, iaitu, penambat baris. Bagi setiap sauh baris, kedudukan dibahagikan kepada sel grid w. Untuk lorong ke-i dan sauh baris ke-j, ramalan lokasi menjadi masalah klasifikasi, di mana model mengeluarkan kebarangkalian Pi,j untuk memilih sel grid (w+1). Dimensi tambahan dalam output ialah tiada lorong.

UFLD mencadangkan cawangan pembahagian tambahan untuk mengagregat ciri pada berbilang skala untuk memodelkan ciri tempatan Ini hanya digunakan semasa latihan. Dengan kaedah UFLD, kehilangan entropi silang digunakan untuk kehilangan segmentasi Lseg. Untuk pengelasan lorong, cawangan kecil lapisan bersambung sepenuhnya (FC) ditambah untuk menerima ciri yang sama seperti lapisan FC untuk ramalan kedudukan lorong. Lcls kehilangan klasifikasi lorong juga menggunakan kehilangan entropi silang.

Untuk mengurangkan masalah hanyutan domain bagi tetapan UDA, UNIT (“Rangkaian Terjemahan Imej-ke-Imej Tanpa Pengawasan“, NIPS, 2017) & MUNIT diterima pakai > ("Terjemahan imej-ke-imej berbilang mod tanpa seliaan," ECCV 2018), dan kaedah diskriminatif lawan menggunakan diskriminator ciri. Seperti yang ditunjukkan dalam rajah: kaedah penjanaan lawan (A) dan kaedah diskriminasi lawan (B) dicadangkan. UNIT dan MUNIT diwakili dalam (A), yang menunjukkan input penjana untuk terjemahan imej. Input gaya tambahan kepada MUNIT ditunjukkan dengan garis biru putus-putus. Untuk kesederhanaan, output pengekod gaya MUNIT diabaikan kerana ia tidak digunakan untuk terjemahan imej.

Hasil percubaan adalah seperti berikut:

Kiri: penghijrahan langsung kaedah, kanan : Kaedah Pengesahan Adversarial (ADA)

Atas ialah kandungan terperinci Kaedah penyesuaian domain sebenar maya untuk pengesanan garis lorong dan klasifikasi pemanduan autonomi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!