Adakah kenderaan sendiri menyatakan semua yang anda perlukan untuk pemanduan autonomi hujung ke hujung gelung terbuka?

Tajuk asal: Adakah Status Ego Semua yang Anda Perlukan untuk Pemanduan Autonomi Hujung-ke-Hujung Gelung Terbuka?

Pautan kertas: https://arxiv.org/abs/2312.03031

Pautan kod: https://github. com/NVlabs/BEV-Planner

Gabungan pengarang: Universiti Nanjing NVIDIA

Idea tesis:

Pemandu autonomi hujung ke hujung baru-baru ini muncul sebagai hala tuju penyelidikan yang menjanjikan, bertujuan penuh automasi perspektif. Sepanjang garis ini, banyak kerja baru-baru ini mengikuti tetapan penilaian gelung terbuka untuk mengkaji tingkah laku perancangan pada nuScenes. Artikel ini meneroka isu ini dengan lebih mendalam dengan menjalankan analisis menyeluruh dan mendedahkan teka-teki dengan lebih terperinci. Kertas kerja ini pada mulanya memerhatikan bahawa set data nuScenes, yang menampilkan adegan pemanduan yang agak mudah, membawa kepada kurang penggunaan maklumat persepsi dalam model hujung ke hujung yang menyepadukan status ego, seperti kelajuan ego. Model ini cenderung bergantung terutamanya pada keadaan kenderaan sendiri untuk perancangan laluan masa hadapan. Sebagai tambahan kepada had set data, kertas itu menyatakan bahawa penunjuk semasa tidak memberikan penilaian menyeluruh tentang kualiti perancangan, yang membawa kepada kesimpulan yang berpotensi berat sebelah yang diambil daripada penanda aras sedia ada. Untuk menyelesaikan masalah ini, kertas kerja ini memperkenalkan metrik baharu untuk menilai sama ada trajektori yang diramalkan mengikut jalan. Kertas kerja ini seterusnya mencadangkan garis asas mudah yang mampu mencapai keputusan kompetitif tanpa bergantung pada anotasi persepsi. Memandangkan batasan penanda aras dan metrik sedia ada, artikel ini mengesyorkan agar komuniti akademik menilai semula penyelidikan arus perdana yang berkaitan dan mempertimbangkan dengan teliti sama ada usaha berterusan terhadap teknologi terkini akan menghasilkan kesimpulan umum yang meyakinkan.

Sumbangan utama:

Model pemanduan autonomi gelung terbuka berdasarkan nuScenes dipengaruhi dengan ketara oleh keadaan kenderaan sendiri (kelajuan, pecutan, sudut yaw), dan faktor ini memainkan peranan penting dalam prestasi perancangan. Apabila keadaan kenderaan sendiri terlibat, ramalan trajektori model dikawal terutamanya olehnya, yang boleh menyebabkan pengurangan penggunaan maklumat deria.

Metrik perancangan sedia ada mungkin tidak menilai sepenuhnya prestasi sebenar model. Mungkin terdapat perbezaan yang ketara dalam keputusan penilaian model di bawah penunjuk yang berbeza. Oleh itu, adalah disyorkan untuk memperkenalkan penunjuk yang lebih pelbagai dan komprehensif untuk menilai prestasi model untuk mengelakkan model hanya berprestasi baik di bawah penunjuk tertentu dan mengabaikan potensi risiko lain.

Berbanding dengan mencapai prestasi terkini pada set data nuScenes sedia ada, membangunkan set data dan metrik yang lebih sesuai dianggap sebagai cabaran yang lebih kritikal dan mendesak.

Reka bentuk tesis:

Matlamat pemanduan autonomi hujung-ke-hujung adalah untuk mempertimbangkan persepsi dan perancangan secara menyeluruh serta melaksanakannya dalam susunan penuh [1, 5, 32, 35]. Motivasi asas adalah untuk melihat persepsi kenderaan autonomi (AV) sebagai cara untuk mencapai matlamat (perancangan), dan bukannya terlalu bergantung pada beberapa metrik persepsi untuk disesuaikan.

Tidak seperti persepsi, perancangan biasanya lebih terbuka dan sukar untuk diukur [6, 7]. Sebaik-baiknya, sifat perancangan terbuka akan menyokong persediaan penilaian gelung tertutup di mana ejen lain boleh bertindak balas terhadap tingkah laku kenderaan sendiri dan data sensor mentah boleh berubah dengan sewajarnya. Walau bagaimanapun, pemodelan tingkah laku ejen dan simulasi data dunia sebenar [8, 19] dalam simulator gelung tertutup kekal mencabar masalah yang tidak dapat diselesaikan setakat ini. Oleh itu, penilaian gelung tertutup pasti memperkenalkan jurang domain yang besar dari dunia sebenar.

Sebaliknya, penilaian gelung terbuka bertujuan untuk menganggap pemanduan manusia sebagai situasi sebenar dan merumuskan perancangan sebagai pembelajaran tiruan [13]. Perwakilan ini membenarkan penggunaan langsung set data dunia nyata melalui main semula log mudah, mengelakkan jurang domain daripada simulasi. Ia juga memberikan kelebihan lain, seperti keupayaan untuk melatih dan mengesahkan model dalam senario trafik yang kompleks dan pelbagai yang selalunya sukar untuk dijana dengan kesetiaan yang tinggi dalam simulasi [5]. Disebabkan faedah ini, kawasan penyelidikan yang mantap memfokuskan pada pemanduan autonomi hujung-ke-hujung gelung terbuka menggunakan set data dunia sebenar [2, 12, 13, 16, 43].

Kaedah pemanduan autonomi hujung ke hujung yang popular pada masa ini [12, 13, 16, 43] biasanya menggunakan nuScenes[2] untuk penilaian gelung terbuka terhadap gelagat perancangan mereka. Sebagai contoh, UniAD [13] mengkaji kesan modul tugas persepsi yang berbeza terhadap tingkah laku perancangan akhir. Walau bagaimanapun, ADMLP [45] baru-baru ini menegaskan bahawa rangkaian MLP yang mudah juga boleh mencapai hasil perancangan terkini dengan hanya bergantung pada maklumat status ego. Perkara ini memberi inspirasi kepada artikel ini untuk menimbulkan persoalan penting:

Adakah pemanduan autonomi hujung ke hujung gelung terbuka hanya memerlukan maklumat status ego?

Jawapan untuk artikel ini adalah ya dan tidak, dengan mengambil kira kebaikan dan keburukan menggunakan maklumat status ego dalam penanda aras semasa:

Ya. Maklumat dalam status ego, seperti kelajuan, pecutan dan sudut yaw, jelas akan memberi manfaat kepada pelaksanaan tugas perancangan. Untuk mengesahkan perkara ini, kertas kerja ini menyelesaikan masalah terbuka AD-MLP dan mengalih keluar penggunaan kebenaran tanah trajektori sejarah (GT) untuk mengelakkan kemungkinan kebocoran label. Model yang diterbitkan semula dalam kertas ini, Ego-MLP (Rajah 1 a.2), hanya bergantung pada status ego dan setanding dengan kaedah terkini dari segi metrik jarak L2 dan kadar perlanggaran sedia ada. Pemerhatian lain ialah hanya kaedah sedia ada [13, 16, 43] yang menggabungkan maklumat status ego ke dalam modul perancangan boleh mencapai hasil yang setanding dengan Ego-MLP. Walaupun kaedah ini menggunakan maklumat persepsi tambahan (penjejakan, peta HD, dsb.), kaedah ini tidak terbukti lebih baik daripada Ego-MLP. Pemerhatian ini mengesahkan peranan dominan status ego dalam penilaian gelung terbuka pemanduan autonomi hujung ke hujung.

Tidak. Jelas sekali, sebagai aplikasi kritikal keselamatan, pemanduan autonomi tidak seharusnya bergantung semata-mata pada status ego semasa membuat keputusan. Jadi mengapa ia berlaku bahawa hasil perancangan yang paling maju boleh dicapai dengan hanya menggunakan status ego? Untuk menjawab soalan ini, kertas kerja ini membentangkan satu set analisis komprehensif yang meliputi pendekatan pemanduan autonomi hujung-ke-hujung gelung terbuka sedia ada. Kertas kerja ini mengenal pasti kelemahan utama dalam penyelidikan sedia ada, termasuk aspek yang berkaitan dengan set data, metrik penilaian dan pelaksanaan model tertentu. Makalah ini menyenaraikan dan memperincikan kelemahan ini dalam baki bahagian ini:

Ketidakseimbangan set data. NuScenes ialah penanda aras yang biasa digunakan untuk tugasan penilaian gelung terbuka [11–13, 16, 17, 43]. Walau bagaimanapun, analisis dalam kertas ini menunjukkan bahawa 73.9% daripada data nuScenes melibatkan senario pemanduan garis lurus, seperti yang ditunjukkan oleh taburan trajektori yang ditunjukkan dalam Rajah 2. Untuk senario pemanduan garis lurus ini, mengekalkan kelajuan semasa, arah atau kadar stereng adalah mencukupi pada kebanyakan masa. Oleh itu, maklumat status ego boleh digunakan dengan mudah sebagai jalan pintas untuk menyesuaikan diri dengan tugas perancangan, yang membawa kepada prestasi kukuh Ego-MLP pada nuScenes.

Petunjuk penilaian sedia ada tidak menyeluruh. Baki 26.1% daripada data NuScenes melibatkan senario pemanduan yang lebih mencabar dan mungkin menjadi penanda aras yang lebih baik untuk tingkah laku perancangan. Walau bagaimanapun, kertas ini percaya bahawa penunjuk penilaian semasa yang digunakan secara meluas, seperti jarak L2 antara ramalan dan nilai sebenar yang dirancang dan kadar perlanggaran antara kenderaan sendiri dan halangan sekeliling, tidak dapat mengukur dengan tepat kualiti tingkah laku perancangan model. Dengan memvisualisasikan banyak trajektori yang diramalkan yang dijana oleh pelbagai kaedah, kertas kerja ini menyatakan bahawa beberapa trajektori berisiko tinggi, seperti memandu di luar jalan, mungkin tidak dikenakan penalti yang teruk dalam metrik sedia ada. Untuk menjawab masalah ini, kertas kerja ini memperkenalkan metrik penilaian baharu untuk mengira kadar interaksi antara trajektori yang diramalkan dan sempadan jalan. Penanda aras mengalami perubahan yang ketara apabila memfokuskan pada kadar persimpangan dengan sempadan jalan. Di bawah metrik penilaian baharu ini, Ego-MLP cenderung untuk meramalkan trajektori yang lebih kerap menyimpang dari jalan berbanding UniAD.

Bias status ego bercanggah dengan logik pemanduan. Memandangkan status ego boleh menyebabkan overfitting, artikel ini seterusnya memerhatikan satu fenomena yang menarik. Keputusan eksperimen kertas ini menunjukkan bahawa dalam beberapa kes, mengalih keluar input visual sepenuhnya daripada rangka kerja pemanduan autonomi hujung ke hujung sedia ada tidak mengurangkan kualiti tingkah laku perancangan dengan ketara. Ini bercanggah dengan logik pemanduan asas, kerana persepsi dijangka memberikan maklumat berguna untuk perancangan. Sebagai contoh, menyekat semua input kamera dalam VAD [16] mengakibatkan kegagalan sepenuhnya modul persepsi, tetapi hanya kemerosotan minimum dalam perancangan jika terdapat status ego. Walau bagaimanapun, menukar halaju input sendiri boleh menjejaskan trajektori akhir yang diramalkan dengan ketara.

Ringkasnya, artikel ini membuat spekulasi bahawa usaha baru-baru ini dalam bidang pemanduan autonomi hujung ke hujung dan hasil terkininya pada nuScenes mungkin disebabkan terlalu bergantung pada status ego, ditambah dengan dominasi pemanduan mudah. senario. Tambahan pula, metrik penilaian semasa tidak mencukupi dalam menilai secara menyeluruh kualiti model trajektori yang diramalkan. Soalan terbuka dan kelemahan ini mungkin memandang rendah potensi kerumitan tugas perancangan dan mewujudkan tanggapan yang mengelirukan bahawa status ego adalah semua yang anda perlukan dalam memandu autonomi hujung ke hujung gelung terbuka.

Potensi gangguan status ego dalam penyelidikan pemanduan autonomi hujung-ke-hujung gelung terbuka semasa menimbulkan persoalan lain: Bolehkah kesan ini diimbangi dengan mengalih keluar status ego daripada keseluruhan model? Walau bagaimanapun, perlu diingat bahawa walaupun pengaruh status ego dikecualikan, kebolehpercayaan penyelidikan pemanduan autonomi gelung terbuka berdasarkan set data nuScenes masih dipersoalkan.

Gambar 1. (a) AD-MLP menggunakan kedua-dua status ego dan nilai sebenar trajektori masa lalu sebagai input. Versi yang diterbitkan semula dalam artikel ini (Ego-MLP) telah mengalih keluar jejak yang lalu. (b) Proses pemanduan autonomi hujung ke hujung sedia ada termasuk modul persepsi, ramalan dan perancangan. Status ego boleh diintegrasikan ke dalam modul penjanaan pandangan mata burung (BEV) atau modul perancangan. (c) Kertas kerja ini mereka bentuk garis asas yang mudah untuk perbandingan dengan kaedah sedia ada. Garis dasar mudah ini tidak menggunakan modul persepsi atau ramalan, tetapi secara langsung meramalkan trajektori akhir berdasarkan ciri BEV.

Gambar 2. (a) Peta haba trajektori kenderaan dalam dataset nuScenes. (b) Kebanyakan adegan dalam set data nuScenes terdiri daripada situasi pemanduan lurus.

Gambar 3. Kaedah semasa [12, 13, 16] mengabaikan untuk mempertimbangkan perubahan sudut yaw kenderaan sendiri dan sentiasa mengekalkan sudut 0 yaw (diwakili oleh kenderaan kelabu), mengakibatkan negatif palsu (a) dan positif palsu (b) pengesanan perlanggaran Pertambahan. Kertas kerja ini menganggarkan sudut yaw kenderaan (diwakili oleh kenderaan merah) dengan menganggarkan perubahan dalam trajektori kenderaan untuk meningkatkan ketepatan pengesanan perlanggaran.

Gambar 4. Makalah ini menunjukkan trajektori ramalan model VAD yang menggabungkan status ego dalam perancangnya di bawah pelbagai senario rasuah imej. Semua trajektori dalam adegan tertentu (menjangkau 20 saat) dipersembahkan dalam sistem koordinat global. Setiap tanda segi tiga mewakili titik trajektori sebenar kenderaan sendiri, dan warna yang berbeza mewakili langkah masa yang berbeza. Perlu diingat bahawa walaupun input adalah imej kosong, trajektori yang diramalkan model kekal munasabah. Walau bagaimanapun, trajektori dalam kotak merah adalah suboptimum, seperti yang dihuraikan dengan lebih lanjut dalam Rajah 5. Walaupun semua imej pandangan sekeliling rosak, untuk memudahkan visualisasi, hanya imej pandangan hadapan yang sepadan dengan langkah masa awal ditunjukkan.

Gambar 5. Dalam kaedah pemanduan autonomi gelung terbuka, trajektori masa depan diramalkan dari kedudukan permulaan kenderaan sendiri. Dalam paradigma pembelajaran tiruan, trajektori yang diramalkan sepatutnya diselaraskan rapat dengan trajektori kebenaran asas yang sebenar. Di samping itu, trajektori yang diramalkan pada langkah masa berturut-turut harus kekal konsisten untuk memastikan kesinambungan dan kelancaran strategi pemanduan. Oleh itu, trajektori yang diramalkan yang ditunjukkan dalam kotak merah dalam Rajah 4 bukan sahaja menyimpang daripada trajektori sebenar, tetapi juga menunjukkan perbezaan yang ketara pada cap masa yang berbeza.

Gambar 6. Untuk model berasaskan VAD yang menggabungkan status ego dalam perancangnya, kertas kerja ini memperkenalkan hingar kepada kelajuan ego sambil mengekalkan input visual tetap. Perlu diingat bahawa apabila data kelajuan kenderaan sendiri terganggu, trajektori yang terhasil menunjukkan perubahan ketara. Menetapkan kelajuan kenderaan kepada sifar menghasilkan ramalan pergerakan pegun, manakala kelajuan 100 m/s menghasilkan ramalan trajektori yang tidak realistik. Ini menunjukkan bahawa walaupun modul persepsi terus memberikan maklumat sekeliling yang tepat, proses membuat keputusan model terlalu bergantung pada status ego.

Gambar 7. BEVFormer menggabungkan maklumat status ego dalam proses permulaan pertanyaan BEV, yang merupakan perincian yang tidak diliputi oleh kaedah pemanduan autonomi hujung ke hujung semasa [13, 16, 43].

Gambar 8. Pengenalan maklumat status ego ke dalam BEV-Planner++ membolehkan model menumpu dengan cepat.

Gambar 9. Bandingkan ciri BEV garis dasar artikel ini dengan senario yang sepadan.

Hasil eksperimen:

Ringkasan kertas:

Kertas ini menyediakan analisis mendalam tentang kaedah pemanduan tanpa akhir semasa Matlamat kertas ini adalah untuk menyumbang hasil penyelidikan dan menggalakkan pembangunan progresif pemanduan autonomi hujung ke hujung.

Petikan:

Li Z, Yu Z, Lan S, et al. Adakah Status Ego Semua yang Anda Perlukan untuk Pemanduan Autonomi Hujung-ke-Hujung Gelung Terbuka?[J].