Perlaksanaan yang dipercepatkan lagi: memampatkan model perancangan gerakan hujung ke hujung pemanduan autonomi

Tajuk asal: On the Road to Portability: Compressing End-to-End Motion Planner for Autonomous Driving

Pautan kertas: https://arxiv.org/pdf/2403.01238.pdf

Pautan kod: https://github .com/tulerfeng/PlanKD

Gabungan pengarang: Institut Teknologi Beijing ALLRIDE.AI Makmal Utama Wilayah Hebei Sains Data Besar dan Teknologi Pintar

Idea tesis

Model perancangan gerakan yang dilengkapi hujung ke hujung dengan rangkaian neural yang mendalam, menunjukkan potensi besar dalam merealisasikan pemanduan autonomi sepenuhnya. Walau bagaimanapun, rangkaian saraf yang terlalu besar menjadikannya tidak sesuai untuk digunakan pada sistem yang dikekang sumber, yang sudah pasti memerlukan lebih banyak masa dan sumber pengkomputeran. Untuk menangani masalah ini, penyulingan pengetahuan menawarkan pendekatan yang menjanjikan dengan memampatkan model dengan meminta model pelajar yang lebih kecil belajar daripada model guru yang lebih besar. Namun begitu, cara menggunakan penyulingan pengetahuan untuk memampatkan perancang gerakan setakat ini belum diterokai. Kertas kerja ini mencadangkan PlanKD, rangka kerja penyulingan pengetahuan pertama yang disesuaikan untuk perancang gerakan hujung-ke-hujung mampatan. Pertama, memandangkan senario pemanduan sememangnya kompleks dan selalunya mengandungi maklumat yang tidak berkaitan perancangan atau bising, ia tidak akan berfaedah bagi perancang pelajar untuk memindahkan maklumat ini. Oleh itu, kertas kerja ini mereka bentuk strategi berdasarkan kesesakan maklumat, yang hanya menyaring maklumat berkaitan perancangan dan bukannya memindahkan semua maklumat secara sembarangan. Kedua, titik jalan yang berbeza dalam trajektori yang dirancang output mungkin berbeza dari segi kepentingan kepada perancangan gerakan, dan sisihan sedikit dalam beberapa titik laluan kritikal boleh menyebabkan perlanggaran. Oleh itu, kertas kerja ini mereka bentuk modul penyulingan perhatian titik laluan yang sedar keselamatan untuk menetapkan pemberat penyesuaian kepada titik laluan yang berbeza berdasarkan kepentingan untuk menggalakkan model pelajar meniru titik laluan yang lebih kritikal dengan lebih tepat, dengan itu meningkatkan keselamatan keseluruhan. Eksperimen menunjukkan bahawa PlanKD kami boleh meningkatkan prestasi perancang kecil dengan ketara dan mengurangkan masa rujukan mereka dengan ketara.

Sumbangan Utama:

1. Kertas kerja ini membina percubaan pertama untuk meneroka kaedah penyulingan pengetahuan khusus untuk memampatkan perancang gerakan hujung ke hujung dalam pemanduan autonomi.
2. Kertas kerja ini mencadangkan rangka kerja umum dan inovatif PlanKD, yang membolehkan perancang pelajar mewarisi pengetahuan berkaitan perancangan di lapisan tengah dan memudahkan pemadanan tepat titik laluan utama untuk meningkatkan keselamatan.
3. Percubaan menunjukkan bahawa PlanKD dalam artikel ini boleh meningkatkan prestasi perancang kecil dengan ketara, dengan itu menyediakan penyelesaian yang lebih mudah alih dan cekap untuk penggunaan dengan sumber yang terhad.

Reka Bentuk Rangkaian:

Perancangan gerakan hujung ke hujung baru-baru ini muncul sebagai hala tuju yang menjanjikan dalam pemanduan autonomi [3, 10, 30, 31, 40, 47, 48], yang secara langsung memetakan data sensor mentah kepada tindakan yang dirancang. Paradigma berasaskan pembelajaran ini mempamerkan kelebihan mengurangkan pergantungan berat pada peraturan buatan tangan dan mengurangkan pengumpulan ralat dalam modul lata yang kompleks (biasanya perancangan pengesanan-ramalan) [40, 48]. Walaupun kejayaan mereka, seni bina besar rangkaian saraf dalam dalam perancang gerakan menimbulkan cabaran untuk penggunaan dalam persekitaran yang dikekang sumber, seperti robot penghantaran autonomi yang bergantung pada kuasa pengkomputeran peranti tepi. Tambahan pula, walaupun dalam kenderaan konvensional, sumber pengkomputeran peranti on-board selalunya terhad [34]. Oleh itu, menggunakan secara langsung perancang yang mendalam dan besar sudah semestinya memerlukan lebih banyak masa dan sumber pengkomputeran, yang menjadikannya mencabar untuk bertindak balas dengan cepat terhadap potensi bahaya. Untuk mengurangkan masalah ini, pendekatan yang mudah adalah untuk mengurangkan bilangan parameter rangkaian dengan menggunakan rangkaian tulang belakang yang lebih kecil, tetapi kertas kerja ini memerhatikan bahawa prestasi model perancangan hujung ke hujung akan menurun secara mendadak, seperti yang ditunjukkan dalam Rajah 1. Sebagai contoh, walaupun masa inferens InterFuser [33], perancang gerakan hujung ke hujung tipikal, telah dikurangkan daripada 52.9M kepada 26.3M, skor pemanduannya juga menurun daripada 53.44 kepada 36.55. Oleh itu, adalah perlu untuk membangunkan kaedah pemampatan model yang sesuai untuk perancangan gerakan hujung ke hujung.

Untuk mendapatkan perancang gerakan mudah alih, kertas kerja ini menggunakan penyulingan pengetahuan [19] untuk memampatkan model perancangan gerakan hujung ke hujung. Penyulingan pengetahuan (KD) telah dikaji secara meluas untuk pemampatan model dalam pelbagai tugas, seperti pengesanan objek [6, 24], segmentasi semantik [18, 28], dsb. Idea asas kerja-kerja ini adalah untuk melatih model pelajar yang dipermudahkan dengan mewarisi pengetahuan daripada model guru yang lebih besar dan menggunakan model pelajar untuk menggantikan model guru semasa penggunaan. Walaupun kajian ini telah mencapai kejayaan yang ketara, penggunaannya secara langsung pada perancangan gerakan hujung ke hujung membawa kepada hasil yang tidak optimum. Ini berpunca daripada dua cabaran yang timbul yang wujud dalam tugas perancangan gerakan: (i) Senario pemanduan bersifat kompleks [46], melibatkan berbilang objek dinamik dan statik, pemandangan latar belakang yang kompleks, dan jalan dan lalu lintas pelbagai rupa Maklumat yang pelbagai termasuk maklumat. Walau bagaimanapun, tidak semua maklumat ini berguna untuk perancangan. Sebagai contoh, bangunan latar belakang dan kenderaan jauh adalah tidak relevan atau bising untuk perancangan [41], manakala kenderaan berhampiran dan lampu isyarat mempunyai kesan yang menentukan. Oleh itu, adalah penting untuk mengekstrak secara automatik maklumat yang berkaitan dengan perancangan daripada model guru, yang kaedah KD sebelumnya tidak dapat dicapai. (ii) Titik jalan yang berbeza dalam trajektori perancangan output biasanya mempunyai kepentingan yang berbeza untuk perancangan gerakan. Contohnya, apabila menavigasi persimpangan, titik laluan dalam trajektori yang berdekatan dengan kenderaan lain mungkin mempunyai kepentingan yang lebih tinggi daripada titik laluan lain. Ini kerana pada titik ini, kenderaan sendiri perlu berinteraksi secara aktif dengan kenderaan lain, malah penyelewengan kecil boleh menyebabkan perlanggaran. Walau bagaimanapun, cara menyesuaikan titik laluan utama dan menirunya dengan tepat adalah satu lagi cabaran utama kaedah KD sebelumnya.

Untuk menangani dua cabaran di atas, kertas kerja ini mencadangkan kaedah penyulingan pengetahuan pertama yang disesuaikan untuk perancang gerakan hujung ke hujung dalam pemanduan autonomi termampat, dipanggil PlanKD. Pertama, kertas kerja ini mencadangkan strategi berdasarkan prinsip kesesakan maklumat [2], yang matlamatnya adalah untuk mengekstrak ciri berkaitan perancangan yang mengandungi maklumat perancangan yang minimum dan mencukupi. Secara khusus, kertas kerja ini memaksimumkan maklumat bersama antara ciri berkaitan perancangan yang diekstrak dan nilai sebenar keadaan perancangan yang ditakrifkan dalam kertas ini, sambil meminimumkan maklumat bersama antara ciri yang diekstrak dan peta ciri perantaraan. Strategi ini membolehkan kertas kerja ini mengeluarkan maklumat berkaitan perancangan kritikal hanya pada lapisan tengah, dengan itu meningkatkan keberkesanan model pelajar. Kedua, untuk mengenal pasti titik laluan utama secara dinamik dan menirunya dengan setia, makalah ini menggunakan mekanisme perhatian [38] untuk mengira setiap titik laluan dan berat perhatiannya di antaranya dan konteks yang berkaitan dalam Pandangan Mata Burung (BEV). Untuk menggalakkan peniruan tepat bagi titik laluan kritikal keselamatan semasa penyulingan, kami mereka bentuk kehilangan kedudukan sedar keselamatan yang menggalakkan memberikan berat perhatian yang lebih tinggi kepada titik laluan yang hampir dengan halangan bergerak. Sehubungan itu, keselamatan perancang pelajar boleh dipertingkatkan dengan ketara. Bukti yang ditunjukkan dalam Rajah 1 menunjukkan bahawa skor pemanduan perancang pelajar boleh dipertingkatkan dengan ketara dengan PlanKD kami. Tambahan pula, kaedah kami boleh mengurangkan masa rujukan kira-kira 50% sambil mengekalkan prestasi yang setanding dengan perancang guru pada Penanda Aras Panjang Town05.

Rajah 1. Gambar rajah skema kemerosotan prestasi InterFuser[33] apabila bilangan parameter berkurangan pada Penanda Aras Panjang Town05 [31]. Dengan memanfaatkan PlanKD kami, kami boleh meningkatkan prestasi perancang gerakan padat dan mengurangkan masa rujukan dengan ketara. Masa inferens dinilai pada GPU GeForce RTX 3090 pada pelayan.

Rajah 2. Gambar rajah skema rangka kerja PlanKD artikel ini. PlanKD terdiri daripada dua modul: modul penyulingan ciri berkaitan perancangan yang mengekstrak ciri berkaitan perancangan daripada peta ciri perantaraan melalui kesesakan maklumat (IB) modul penyulingan perhatian titik laluan yang sedar keselamatan yang menentukan titik laluan utama dan Ekstrak pengetahuan daripadanya secara dinamik kepadanya; meningkatkan keselamatan keseluruhan.

Hasil eksperimen:

Rajah 3. Visualisasi berat perhatian yang mementingkan keselamatan dalam senario pemanduan yang berbeza. Blok hijau mewakili kenderaan ego dan blok kuning mewakili pengguna jalan raya lain (cth. kereta, basikal). Semakin merah titik laluan, semakin tinggi berat perhatiannya.

Ringkasan:

Kertas kerja ini mencadangkan PlanKD, kaedah penyulingan pengetahuan yang disesuaikan untuk perancang gerakan hujung-ke-hujung mampatan. Kaedah yang dicadangkan boleh mempelajari ciri berkaitan perancangan melalui kesesakan maklumat untuk mencapai penyulingan ciri yang berkesan. Tambahan pula, kertas kerja ini mereka bentuk mekanisme penyulingan titik laluan yang sedar keselamatan untuk menentukan secara adaptif kepentingan setiap titik laluan untuk penyulingan titik laluan. Eksperimen yang meluas mengesahkan keberkesanan pendekatan kami, menunjukkan bahawa PlanKD boleh berfungsi sebagai penyelesaian mudah alih dan selamat untuk penggunaan terhad sumber.

Petikan:

Feng K, Li C, Ren D, et al Dalam Jalan Menuju Mudah Alih: Memampatkan Perancang Pergerakan Hujung-ke-Hujung untuk Pemanduan Autonomi[J].