Bagaimana untuk mengintegrasikan rapat pemetaan dalam talian dan ramalan trajektori?

Tajuk asal: Menghasilkan dan Memanfaatkan Ketidakpastian Peta Dalam Talian dalam Ramalan Trajektori

Pautan kertas: https://arxiv.org/pdf/2403.16439.pdf

Pautan kod: https://github.com/alfredguty

Predgu001 Gabungan pengarang: Vector Institute NVIDIA Research, University of Toronto

Idea tesis:

Peta berketepatan tinggi (HD) memainkan peranan yang amat diperlukan dalam pembangunan teknologi kenderaan autonomi (AV) moden walaupun pelabelan dan kos penyelenggaraan yang berkaitan dengan ini adalah tinggi. Oleh itu, banyak kerja baru-baru ini mencadangkan kaedah untuk anggaran dalam talian peta HD daripada data sensor, merumitkan penyepaduan dalam tindanan teknologi pemanduan autonomi. Khususnya, mereka tidak menjana ketidakpastian atau anggaran keyakinan. Makalah ini memanjangkan berbilang kaedah anggaran peta dalam talian yang canggih untuk mendayakan anggaran tambahan ketidakpastian dan meningkatkan kuasa ramalan sehingga 15% pada set data pemacu nuScenes dunia sebenar. Dalam proses itu, kami mendapati bahawa menggabungkan ketidakpastian meningkatkan penumpuan latihan sehingga 50% dan meningkatkan kuasa ramalan sehingga 15% pada set data pemacu nuScenes dunia sebenar.

Sumbangan Utama:

Kertas kerja ini memperkenalkan perihalan ketidakpastian peta bervektor umum dan memanjangkan banyak kaedah anggaran peta dalam talian terkini untuk mengeluarkan anggaran ketidakpastian tambahan tanpa merendahkan prestasi graf pembinaan tulen.

Kertas ini secara empirikal menganalisis potensi sumber ketidakpastian peta, mengesahkan kekurangan keyakinan dalam kaedah anggaran peta semasa dan menyediakan maklumat untuk arah penyelidikan masa hadapan.

Artikel ini akan membincangkan model anggaran peta dalam talian terkini digabungkan dengan berbilang kaedah ramalan trajektori terkini, dan menunjukkan cara meningkatkan prestasi dan ciri latihan model ramalan hiliran dengan ketara serta mempercepatkan penumpuan latihan dengan menggabungkan ketidakpastian pemetaan dalam talian. kepada 50%, dan meningkatkan ketepatan ramalan dalam talian sebanyak 15%.

Reka Bentuk Rangkaian:

Satu komponen utama pemanduan autonomi ialah memahami persekitaran statik, contohnya, susun atur jalan dan lalu lintas di sekeliling kenderaan autonomi (AV). Oleh itu, peta berketepatan tinggi (HD) telah dibangunkan untuk menangkap dan menyediakan maklumat sedemikian, mengandungi maklumat semantik seperti sempadan jalan, pembahagi lorong dan tanda jalan aras sentimeter. Dalam beberapa tahun kebelakangan ini, peta HD telah terbukti sangat diperlukan untuk pembangunan dan penggunaan kenderaan autonomi dan digunakan secara meluas hari ini [35]. Walau bagaimanapun, peta HD mahal untuk dianotasi dan diselenggara dari semasa ke semasa, dan ia hanya boleh digunakan di kawasan berpagar geo, yang mengehadkan kebolehskalaan kenderaan autonomi. ”.

Untuk menangani isu ini, banyak kajian baru-baru ini beralih kepada anggaran dalam talian peta berketepatan tinggi (HD) daripada data penderia Secara umum, mereka bertujuan untuk meramalkan lokasi dan kategori elemen peta, biasanya dalam bentuk poligon atau. polylines, all Walau bagaimanapun, kaedah anggaran peta dalam talian semasa tidak menghasilkan sebarang maklumat ketidakpastian atau keyakinan yang berkaitan daripada imej kamera dan imbasan LiDAR, yang bermasalah kerana ia membawa kepada maklumat tersembunyi untuk pengguna hiliran Ia secara tersirat diandaikan bahawa komponen peta yang disimpulkan adalah deterministik , dan sebarang ralat pemetaan (cth., pergerakan atau peletakan elemen peta yang salah) boleh menyebabkan kelakuan hiliran yang salah Untuk tujuan ini, kertas kerja ini mencadangkan untuk mendedahkan ketidakpastian peta dalam kaedah anggaran peta dalam talian dan memasukkannya ke dalam modul hiliran. kertas kerja ini menggabungkan ketidakpastian peta ke dalam ramalan trajektori dan mendapati bahawa sistem peramal-pemeta yang menggabungkan ketidakpastian peta (Rajah 1) adalah jauh lebih baik daripada yang tidak. Prestasinya meningkat dengan ketara berbanding sistem

Rajah 1. Menjana ketidakpastian daripada kaedah anggaran peta berketepatan tinggi (HD) dalam talian dan memasukkannya ke dalam modul hiliran membawa pelbagai faedah Rajah Kiri: Peta dan lokasi ejen sebenar: HiVT [41] menggunakan peta keluaran MapTR . Kanan: Peta menggunakan output MapTR [22] dengan ketidakpastian titik tambahan (disebabkan oleh ramalan HiVT [41] di mana sempadan ditutup oleh kenderaan yang diletakkan dan ketidakpastian adalah besar)

Rajah 2. Banyak dalam talian kaedah anggaran peta vektor berketepatan tinggi mengekod imej berbilang kamera dan mengubahnya menjadi ruang ciri graf mata burung (BEV) dan beroperasi dengan mengundurkan bucu elemen peta Kerja ini meningkatkan struktur keluaran biasa ini dengan menambahkan a kepala regresi kebarangkalian, memodelkan setiap bucu peta sebagai taburan Laplacian untuk penilaian Kesan hiliran yang terhasil, makalah ini memanjangkan lagi model ramalan hiliran untuk mengekod ketidakpastian peta, mempertingkatkan pengekod peta berasaskan rangkaian neural graf (GNN) dan Transformer

. .

Hasil eksperimen:

Rajah 3. Perwakilan ketidakpastian yang dicadangkan dalam kertas ini mampu menangkap ketidakpastian yang disebabkan oleh oklusi antara kamera kenderaan autonomi (AV) dan elemen peta sekeliling. Kiri: Imej dari kamera hadapan dan kanan hadapan. Kanan: Peta HD yang dijana oleh model peta ketepatan tinggi dalam talian yang dipertingkatkan dalam artikel ini. Ellips mewakili sisihan piawai bagi taburan. Warna mewakili sempadan jalan, pembahagi lorong, lintasan pejalan kaki dan garis tengah lorong.

Rajah 4. Di tempat letak kereta yang padat, banyak model gagal menghasilkan peta yang tepat. Kiri: imej kamera belakang dan kiri belakang. Kanan: Peta HD yang dijana oleh model peta ketepatan tinggi dalam talian yang dipertingkatkan dalam artikel ini. Elips menunjukkan sisihan piawai bagi taburan. Warna mewakili sempadan jalan, pembahagi lorong, lintasan pejalan kaki dan garis tengah lorong.

Ringkasan:

Kertas ini mencadangkan pelbagai rumusan umum dalam talian dan pemetaan TR yang tidak pasti [22], MapTRv2 [23] dan StreamMapNet [38], membolehkan mereka mengeluarkan ketidakpastian tambahan. Kami menganalisis ketidakpastian yang terhasil secara sistematik dan mendapati bahawa pendekatan kami menangkap banyak sumber ketidakpastian (halangan, jarak dari kamera, masa hari dan cuaca). Akhir sekali, kertas kerja ini menggabungkan model anggaran peta dalam talian ini dengan kaedah ramalan trajektori terkini (DenseTNT [13] dan HiVT [41]) dan menunjukkan bahawa menggabungkan ketidakpastian peta dalam talian dengan ketara meningkatkan prestasi dan ciri latihan model ramalan. , masing-masing sehingga 15% dan 50%. Arah penyelidikan masa depan yang menarik adalah menggunakan output ketidakpastian ini untuk mengukur penentukuran model peta (serupa dengan [16]). Walau bagaimanapun, tugas ini adalah rumit oleh keperluan untuk padanan set titik kabur, yang merupakan masalah yang mencabar itu sendiri.

Petikan:

Gu X, Song G, Gilitschenski I, et al. Menghasilkan dan Memanfaatkan Ketidakpastian Peta Dalam Talian dalam Ramalan Trajektori[J].