Bolehkah peta dalam talian masih seperti ini? MapTracker: Gunakan penjejakan untuk merealisasikan SOTA baharu peta dalam talian!

Ditulis di atas & pemahaman peribadi pengarang

Algoritma ini membolehkan pembinaan peta berketepatan tinggi dalam talian. Kaedah kami, MapTracker, mengumpul strim sensor ke dalam penimbal memori dua paparan: 1) Laten raster dalam ruang Pandangan Mata Burung (BEV) dan 2) Laten vektor pada elemen jalan (iaitu, lintasan pejalan kaki, garisan lorong dan sempadan jalan). Kaedah ini menggunakan paradigma penyebaran pertanyaan dalam penjejakan objek, yang secara eksplisit mengaitkan elemen jalan yang dijejaki bagi bingkai sebelumnya dengan bingkai semasa, sambil menggabungkan subset pendam memori dengan langkah jarak untuk mencapai pautan sumber terbuka: https:/ /map-tracker.github.io/

Ringkasnya, sumbangan utama artikel ini adalah seperti berikut:

Algoritma pemetaan vektor HD baharu yang merumuskan pemetaan HD sebagai tugas pengesanan, dan Mengeksploitasi sejarah pendam memori dalam kedua-dua representasi untuk mencapai ketekalan sementara; Peningkatan ketara ke atas kaedah terbaik semasa pada metrik tradisional dan baharu.

Semakan kerja berkaitan
• Kertas ini menggunakan dua cara untuk memikirkan dan menyelesaikan masalah pemetaan HD vektor yang konsisten. Kami mula-mula menyemak trend terkini dalam penjejakan objek visual menggunakan Transformer dan reka bentuk memori dalam pemanduan autonomi berasaskan penglihatan. Akhir sekali, kami membincangkan kaedah pemetaan vektor HD yang bersaing.
• Gunakan transformer untuk pengesanan objek visual

. Penjejakan objek visual mempunyai sejarah yang panjang, antaranya kaedah pengubah hujung ke hujung telah menjadi trend terkini kerana kesederhanaannya. TrackFormer, TransTrack dan MOTR memanfaatkan mekanisme perhatian dan pertanyaan penjejakan untuk mengaitkan kejadian secara eksplisit merentas bingkai. MeMOT dan MeMOTR melanjutkan pengubah penjejakan dengan mekanisme memori untuk konsistensi jangka panjang yang lebih baik. Kertas kerja ini merumuskan pemetaan vektor HD sebagai tugas penjejakan dengan menggabungkan pertanyaan penjejakan dengan mekanisme memori yang lebih mantap.

Reka bentuk memori dalam pemanduan autonomi

. Sistem pemanduan autonomi bingkai tunggal mengalami kesukaran mengendalikan oklusi, kegagalan sensor atau persekitaran yang kompleks. Pemodelan temporal dengan Memori memberikan tambahan yang menjanjikan. Banyak reka bentuk memori wujud untuk parut fungsi BEV yang menjadi asas kepada kebanyakan tugas pemanduan autonomi. BEVDet4D dan BEVFormerv2 menindih ciri berbilang bingkai lalu ke dalam Memori, tetapi pengiraan berkembang secara linear dengan panjang sejarah, menjadikannya sukar untuk menangkap maklumat jangka panjang. VideoBEV menyebarkan pertanyaan raster BEV merentasi bingkai untuk mengumpul maklumat dalam satu gelung. Dalam domain vektor, Sparse4Dv2 menggunakan memori gaya RNN yang serupa untuk pertanyaan sasaran, manakala Sparse4Dv3 selanjutnya menggunakan denoising temporal untuk pembelajaran temporal yang mantap. Idea ini sebahagiannya telah dimasukkan ke dalam kaedah pemetaan vektor HD. Makalah ini mencadangkan reka bentuk memori baharu untuk kependaman BEV parut dan kependaman vektor elemen jalan.

Pemetaan HD vektor. Secara tradisinya, peta berketepatan tinggi dibina semula di luar talian menggunakan kaedah berasaskan SLAM dan kemudian diuruskan secara manual, yang memerlukan kos penyelenggaraan yang tinggi. Dengan peningkatan ketepatan dan kecekapan, algoritma peta ketepatan tinggi vektor dalam talian telah menarik lebih banyak perhatian berbanding algoritma peta luar talian, yang akan memudahkan proses pengeluaran dan mengendalikan perubahan peta. HDMapNet menukarkan pembahagian imej raster kepada contoh imej vektor melalui pasca pemprosesan dan mewujudkan penanda aras pemetaan vektor HD pertama. Kedua-dua VectorMapNet dan MapTR menggunakan transformer berasaskan DETR untuk ramalan hujung ke hujung. Yang pertama secara autoregresif meramalkan bucu setiap lengkung yang dikesan, manakala yang kedua menggunakan pertanyaan hierarki dan kerugian padanan untuk meramalkan semua bucu secara serentak. MapTRv2 melengkapkan lagi MapTR dengan tugas tambahan dan pengubahsuaian rangkaian. Perwakilan lengkung, reka bentuk rangkaian dan paradigma latihan adalah tumpuan kerja lain. StreamMapNet mengambil langkah ke arah pemetaan yang konsisten dengan menggunakan idea aliran dalam persepsi BEV. Ideanya adalah untuk mengumpul maklumat lalu ke dalam pendam ingatan dan menyampaikannya sebagai syarat (iaitu rangka kerja pengesanan keadaan). SQD MapNet meniru DN-DETR dan mencadangkan denoising lengkung temporal untuk menggalakkan pembelajaran temporal.

MapTracker

Mekanisme ingatan yang mantap ialah teras MapTracker, yang mengumpul aliran sensor ke dalam ingatan terpendam yang diwakili oleh dua representasi: 1) Pandangan mata burung dari atas ke bawah bagi kawasan sekitar kenderaan dalam Memori sistem koordinat BEV (BEV) sebagai imej terpendam; dan 2) ingatan vektor (VEC) bagi elemen jalan (iaitu, persimpangan pejalan kaki, garisan lorong dan sempadan jalan) sebagai satu set kuantiti terpendam.

Dua idea mudah dan mekanisme ingatan mencapai pemetaan yang konsisten. Idea pertama ialah menggunakan penimbal memori sejarah dan bukannya memori tunggal untuk bingkai semasa. Satu ingatan harus menyimpan maklumat untuk keseluruhan sejarah, tetapi mudah kehilangan ingatan, terutamanya dalam persekitaran yang berselerak dengan sejumlah besar kenderaan menghalang struktur jalan. Khususnya, untuk kecekapan dan liputan, kami memilih subset kenangan terpendam lalu untuk gabungan pada setiap bingkai berdasarkan gerakan kenderaan. Idea kedua ialah merumuskan peta HD dalam talian sebagai tugas penjejakan. Mekanisme ingatan VEC mengekalkan jujukan pendam memori untuk setiap elemen jalan dan menjadikan formulasi ini mudah dengan meminjam paradigma penyebaran pertanyaan daripada literatur penjejakan. Baki bahagian ini menerangkan seni bina saraf kami (lihat Rajah 2 dan 3), termasuk penimbal memori BEV dan VEC serta modul rangkaian yang sepadan, dan kemudian memperkenalkan butiran latihan.

Memory Buffers

Memori BEV ialah pendam 2D ​​dalam sistem koordinat BEV, berpusat pada kenderaan dan berorientasikan pada bingkai ke-t. Dimensi spatial (iaitu 50×100) meliputi kawasan segi empat tepat, 15m kiri/kanan dan 30m depan/belakang. Setiap kependaman memori mengumpul keseluruhan maklumat lepas, dan penimbal mengekalkan pendam memori sedemikian dalam 20 bingkai terakhir, menjadikan mekanisme memori berlebihan tetapi teguh.

VECmemory ialah satu set kependaman vektor, setiap kependaman vektor mengumpul maklumat elemen jalan aktif sehingga bingkai t. Bilangan elemen aktif berubah dari bingkai ke bingkai. Penampan memegang vektor terpendam 20 bingkai yang lalu dan korespondensinya antara bingkai (iaitu, jujukan terpendam vektor yang sepadan dengan elemen jalan yang sama).

Modul BEV

Inputnya ialah 1) Ciri CNN bagi imej sekeliling bawaan udara dan parameter kameranya yang diproses oleh tulang belakang imej 2) penimbal memori BEV dan 3) gerakan kenderaan. Berikut menerangkan empat komponen seni bina modul BEV dan outputnya.

• Perambatan Pertanyaan BEV: Memori BEV ialah imej terpendam 2D ​​dalam sistem koordinat kenderaan. Transformasi afine dan interpolasi dwilinear memulakan memori BEV semasa kepada memori BEV sebelumnya. Untuk piksel yang terletak di luar imej terpendam selepas transformasi, vektor benam yang boleh dipelajari bagi setiap piksel dimulakan dan operasinya diwakili sebagai "MaskBlend" dalam Rajah 3.
• Perhatian Diri Boleh Ubah Bentuk: Lapisan perhatian diri boleh ubah bentuk memperkayakan memori BEV.
• Perspektif-ke-BEV Silang Perhatian: Sama seperti StreamMapNet, lapisan perhatian silang boleh ubah bentuk BEVFormer menyuntik maklumat perspektif ke dalam MBEV(t).
• BEV Memory Fusion: Laten memori dalam buffer dicantum untuk memperkayakan MBEV(t). Menggunakan semua kenangan adalah mahal dari segi pengiraan dan berlebihan.

Output ialah 1) memori akhir MBEV(t) yang disimpan ke penimbal dan dihantar ke modul VEC; dan 2) geometri unsur jalan raster S(t) yang disimpulkan oleh kepala pembahagian dan digunakan untuk pengiraan kerugian. Kepala segmentasi ialah modul unjuran linear yang menayangkan setiap piksel dalam memori terpendam kepada topeng segmentasi 2×2, menghasilkan topeng 100×200.

Modul Vec

Input ialah memori BEV MBEV(t) dan penimbal memori vektor dan gerakan kenderaan

• Perambatan Pertanyaan Vektor: memori vektor ialah set vektor berpotensi elemen jalan yang aktif.
• Perhatian Kendiri Instance Vektor: Lapisan perhatian kendiri standard
• Perhatian Silang BEV-ke-Vektor: Perhatian Berbilang Titik
• Penyatuan Memori Vektor: Untuk setiap vektor berpotensi dalam memori semasa MVEC(t), vektor terpendam yang dikaitkan; dengan elemen jalan yang sama dalam penampan digabungkan untuk memperkaya perwakilan mereka. Pemilihan bingkai langkah yang sama memilih empat vektor berpotensi, di mana bagi sesetengah elemen jalan dengan sejarah penjejakan pendek, bingkai π(t) yang dipilih akan berbeza dan kurang. Sebagai contoh, elemen yang dijejaki untuk dua bingkai hanya mempunyai dua pendam dalam penimbal.

Outputnya ialah 1) ingatan akhir elemen jalan "positif" yang diuji dengan pengelasan daripada satu lapisan bersambung sepenuhnya daripada MVEC(t); dan 2) diregres oleh MLP 3 lapisan daripada MVEC(t) geometri jalan vektor dengan elemen jalan raya yang positif.

Latihan

Kehilangan BEV:

Kehilangan VEC. Diilhamkan oleh MOTR, pengubah hujung ke hujung untuk penjejakan berbilang objek, kami melanjutkan kerugian berdasarkan padanan untuk mempertimbangkan penjejakan GT secara eksplisit. Penetapan label peringkat contoh optimum untuk elemen baharu ditakrifkan sebagai:

Kemudian penetapan label ω(t) antara semua output dan GT ditakrifkan secara induktif:

Kehilangan gaya penjejakan untuk output vektor ialah :

Kehilangan penukaran. Kami meminjam kehilangan transformasi Ltrans daripada StreamMapNet untuk melatih PropMLP, yang memaksa transformasi pertanyaan dalam ruang terpendam untuk mengekalkan geometri vektor dan jenis kelas. Kehilangan latihan terakhir ialah:

Tanda Aras Pemetaan Vektor HD Konsisten

Kebenaran asas yang konsisten

MapTR yang dicipta oleh tanda aras pemetaan vektor HD daripada set data nuScenes dan Agrose yang digunakan. Walau bagaimanapun, lintasan pejalan kaki digabungkan secara naif dan tidak konsisten merentas bingkai. Garis pemisah juga tidak konsisten dengan kegagalan proses penjejakan grafnya (untuk Argoverse2).

StreamMapNet mewarisi kod VectorMapNet dan mencipta penanda aras dengan realisme yang lebih baik yang telah digunakan dalam cabaran bengkel. Walau bagaimanapun, beberapa masalah kekal. Untuk Argoverse2, pembahagi kadangkala dibahagikan kepada segmen yang lebih pendek. Untuk nuScenes, lintasan besar kadangkala membahagikan gelung kecil, yang ketidakkonsistenannya muncul secara rawak dalam setiap bingkai, mengakibatkan perwakilan tidak konsisten buat sementara waktu. Kami menyediakan visualisasi masalah penanda aras sedia ada dalam lampiran.

Kami menambah baik kod pemprosesan garis dasar sedia ada untuk (1) meningkatkan geometri GT setiap bingkai dan kemudian (2) mengira kod surat-menyuratnya antara bingkai untuk membentuk "trajektori" GT.

(1) Tingkatkan setiap geometri bingkai. Kami mewarisi dan menambah baik pangkalan kod MapTR yang popular dalam komuniti semasa membuat dua perubahan: menggantikan pemprosesan kawasan berjalan kaki dengan pemprosesan dalam StreamMapNet dan meningkatkan kualiti dengan lebih banyak kekangan geometri dan mempertingkatkan algoritma penjejakan graf untuk mengendalikan Noise daripada anotasi asal untuk meningkatkan ketekalan temporal; pemprosesan pembahagi (Argoverse2 sahaja).

(2) Membentuk trek. Memandangkan geometri elemen jalan dalam setiap bingkai, kami menyelesaikan masalah padanan dwipartit yang optimum antara setiap pasangan bingkai bersebelahan untuk mewujudkan korespondensi antara elemen jalan. Pasangan surat-menyurat dikaitkan untuk membentuk trajektori elemen jalan raya. Skor padanan antara sepasang elemen jalan ditakrifkan seperti berikut. Geometri unsur jalan ialah lengkung atau gelung poligon. Kami menukar geometri elemen daripada bingkai lama kepada bingkai baharu berdasarkan pergerakan kenderaan dan kemudian menyusun dua lengkung/gelung dengan ketebalan tertentu kepada topeng contoh. Persimpangan mereka pada kesatuan adalah skor padanan.

Metrik mAP yang menyedari konsistensi

Metrik mAP tidak menghukum pembinaan semula yang tidak konsisten buat sementara waktu. Kami memadankan elemen jalan yang dibina semula dan kebenaran tanah dalam setiap bingkai secara bebas dengan jarak chamfer, seperti dalam prosedur mAP standard, dan kemudian menghapuskan padanan yang tidak konsisten buat sementara waktu melalui semakan berikut. Pertama, untuk kaedah garis dasar yang tidak meramalkan maklumat penjejakan, kami menggunakan algoritma yang sama yang digunakan untuk mendapatkan korespondensi temporal GT untuk membentuk trajektori elemen jalan yang dibina semula (kami juga memanjangkan algoritma untuk mengenal pasti semula elemen yang hilang dengan menukar kelajuan; lihat untuk lampiran butiran). Seterusnya, biarkan "nenek moyang" menjadi elemen jalan yang tergolong dalam trajektori yang sama dalam bingkai sebelumnya. Dari permulaan jujukan, kami mengalih keluar setiap padanan bingkai (elemen yang dibina semula dan elemen kebenaran tanah) sebagai tidak konsisten buat sementara waktu jika mana-mana nenek moyang mereka tidak sepadan. Padanan konsisten sementara yang selebihnya kemudian digunakan untuk mengira mAP standard.

Eksperimen

Kami membina sistem kami berdasarkan pangkalan kod StreamMapNet sambil melatih model kami pada nuScenes untuk 72 zaman dan Argoverse2 untuk 35 zaman menggunakan 8 NVIDIA RTX A5000 GPU. Saiz kelompok untuk tiga peringkat latihan adalah masing-masing 16, 48 dan 16. Latihan mengambil masa kira-kira tiga hari, dan kelajuan inferens adalah kira-kira 10 FPS. Selepas menerangkan set data, metrik dan kaedah garis dasar, bahagian ini menyediakan hasil percubaan.

Salah satu sumbangan kami adalah untuk mencapai kebenaran asas (GT) yang konsisten sementara pada dua rakan sejawat sedia ada, iaitu MapTR dan StreamMapNet. Jadual 1 dan 2 menunjukkan hasil latihan dan ujian sistem pada salah satu daripada tiga GT (ditunjukkan dalam lajur pertama). Memandangkan pangkalan kod kami adalah berdasarkan StreamMapNet, kami menilai sistem kami pada StreamMapNet GT dan GT konsisten ad hoc kami.

hasil nuScenes. Jadual 1 menunjukkan bahawa kedua-dua MapTRv2 dan StreamMapNet mencapai mAP yang lebih baik menggunakan GT kami, iaitu perkara yang kami jangkakan apabila membetulkan ketidakkonsistenan dalam GT asal mereka. Peningkatan StreamMapNet adalah lebih tinggi sedikit kerana ia mempunyai pemodelan temporal (sementara MapTR tidak) dan mengeksploitasi ketekalan temporal dalam data. MapTracker dengan ketara mengatasi kaedah bersaing, terutamanya apabila GT konsisten kami meningkat lebih daripada 8% dan 22% dalam skor mAP mentah dan sedar konsisten. Ambil perhatian bahawa MapTracker ialah satu-satunya sistem yang menghasilkan maklumat penjejakan eksplisit (iaitu, membina semula korespondensi elemen antara bingkai), yang diperlukan untuk mAP rantau konsisten. Algoritma padanan mudah mencipta trajektori untuk kaedah garis dasar.

hasil Argoverse2. Jadual 2 menunjukkan bahawa kedua-dua MapTRv2 dan StreamMapNet mencapai skor mAP yang lebih baik dengan GT kami yang konsisten, yang selain konsisten dari segi sementara, juga mempunyai GT berkualiti tinggi (untuk lintasan pejalan kaki dan pembahagi), yang memanfaatkan semua kaedah. MapTracker mengatasi semua garis dasar lain dalam semua tetapan dengan margin yang ketara (iaitu, masing-masing 11% atau 8%). Skor Kesedaran Konsistensi (C-mAP) seterusnya menunjukkan konsistensi unggul kami, meningkat lebih 18% berbanding StreamMapNet.

Hasil dengan data tidak bertindih secara geografi

Pemisahan kereta api/ujian rasmi bagi set data nuScenes dan Agroverse2 mempunyai pertindihan geografi (iaitu jalan yang sama muncul dalam kereta api/ujian), yang membenarkan pemasangan berlebihan. Jadual 3 membandingkan kaedah garis dasar terbaik yang dicadangkan oleh StreamMapNet dan MapTracker berdasarkan pembahagian geografi yang tidak bertindih. MapTracker secara konsisten menunjukkan prestasi yang baik dengan margin yang ketara, menunjukkan keupayaan generalisasi merentas senario yang kukuh. Ambil perhatian bahawa prestasi pada set data nuScenes dirosot untuk kedua-dua kaedah. Selepas pemeriksaan teliti, pengesanan elemen jalan berjaya, tetapi ralat koordinat regresi adalah besar, mengakibatkan prestasi yang lemah. Lampiran menyediakan analisis tambahan.

Kajian Ablasi

Kajian Ablasi dalam Jadual 4 menunjukkan sumbangan elemen reka bentuk utama dalam MapTracker. Entri "garis dasar" pertama ialah StreamMapNet, yang tidak mempunyai keupayaan inferens temporal (iaitu tiada memori dan modul aliran BEV dan vektor). Entri kedua ialah StreamMapNet. Kedua-dua kaedah telah dilatih selama 110 zaman sehingga penumpuan lengkap. Tiga entri terakhir ialah variasi MapTracker, dengan atau tanpa elemen reka bentuk utama. Varian pertama membuang komponen gabungan memori dalam modul BEV/VEC. Varian ini menggunakan formula penjejakan tetapi bergantung pada memori BEV/VEC tunggal untuk menyimpan maklumat lepas. Varian kedua menambah penimbal memori dan komponen gabungan memori, tetapi tanpa langkah, iaitu menggunakan 4 bingkai terkini untuk gabungan. Varian ini meningkatkan prestasi dan menunjukkan keberkesanan mekanisme ingatan kami. Varian terakhir menambah langkah memori, menjadikan penggunaan mekanisme memori dengan lebih cekap dan meningkatkan prestasi.

Penilaian kualitatif

Rajah 4 menunjukkan perbandingan kualitatif MapTracker dan kaedah garis dasar pada set data nuScenes dan Argoverse2. Untuk visualisasi yang lebih baik, kami menggunakan algoritma mudah untuk menggabungkan setiap peta vektor bingkai HD ke dalam peta HD vektor global. Lihat lampiran untuk butiran tentang algoritma penggabungan dan visualisasi pembinaan semula setiap bingkai. MapTracker menghasilkan keputusan yang lebih tepat dan bersih, menunjukkan kualiti keseluruhan yang unggul dan ketekalan temporal. Untuk senario di mana kenderaan membelok atau tidak bergerak sedikit ke hadapan (termasuk dua contoh dalam Rajah 1), StreamMapNet dan MapTRv2 boleh menghasilkan keputusan yang tidak stabil, mengakibatkan hasil gabungan yang rosak dan bising. Ini terutamanya kerana formulasi berasaskan pengesanan berjuang untuk mengekalkan pembinaan semula koheren sementara di bawah gerakan kenderaan yang kompleks.

Kesimpulan

Makalah ini memperkenalkan MapTracker, yang merumuskan pemetaan HD dalam talian sebagai tugas penjejakan dan memanfaatkan sejarah raster dan pendam vektor untuk mengekalkan ketekalan temporal. Kami menggunakan mekanisme penyebaran pertanyaan untuk mengaitkan elemen jalan yang dijejaki merentas bingkai, dan menggabungkan subset entri memori terpilih dengan langkah jarak untuk meningkatkan konsistensi. Kami juga menambah baik penanda aras sedia ada dengan menjana GT yang konsisten menggunakan label penjejakan dan meningkatkan metrik mAP mentah dengan semakan konsistensi masa. MapTracker dengan ketara mengatasi kaedah sedia ada pada set data nuScenes dan Agroverse2 apabila dinilai menggunakan metrik tradisional, dan ia menunjukkan ketekalan temporal yang unggul apabila dinilai menggunakan metrik kesedaran konsistensi kami.

Limitation: Kami mengenal pasti dua had MapTracker. Pertama, rumusan penjejakan semasa tidak mengendalikan penggabungan dan pemisahan elemen jalan (cth., sempadan berbentuk U dipecah kepada dua garis lurus dalam bingkai masa hadapan, dan sebaliknya). Fakta asas juga tidak mewakilinya dengan sewajarnya. Kedua, sistem kami masih pada 10 FPS dan prestasi masa nyata agak kurang, terutamanya semasa kejadian ranap kritikal. Mengoptimumkan kecekapan dan mengendalikan struktur jalan dunia sebenar yang lebih kompleks adalah kerja masa depan kami.