Simulasi pemanduan lanjutan: Pembinaan semula pemandangan memandu dengan data sekeliling yang realistik

Tajuk asal: DrivingGaussian: Composite Gaussian point rendering untuk adegan pemanduan autonomi dinamik ambien

Sila klik di sini untuk melihat kertas: https://arxiv.org/pdf/2312.07920.pdf

Pautan kod: https://pkuv. github.io/DrivingGaussian/

Gabungan pengarang: Universiti Peking Universiti Penyelidikan Google California, Merced

Idea tesis:

Kertas kerja ini mencadangkan DrivingGaussian, yang merupakan penyelesaian autonomis kecekapan tinggi dan kos efektif untuk pemanduan dinamik . Untuk adegan kompleks dengan objek bergerak, kertas ini mula-mula menggunakan Gaussian 3D statik tambahan untuk memodelkan latar belakang statik keseluruhan adegan secara berurutan dan progresif. Kemudian, kertas kerja ini menggunakan graf Gaussian dinamik komposit untuk memproses berbilang objek bergerak, membina semula setiap objek secara individu dan memulihkan kedudukan tepat dan hubungan oklusi mereka di tempat kejadian. Makalah ini selanjutnya menggunakan LiDAR priors untuk Gaussian Splatting untuk membina semula pemandangan dengan lebih terperinci dan mengekalkan konsistensi panorama. DrivingGaussian mengatasi kaedah sedia ada dalam pembinaan semula pemandangan memandu dan membolehkan sintesis pandangan sekeliling yang realistik dengan ketekalan tinggi dan konsisten berbilang kamera.

Sumbangan utama:

Menurut artikel ini, DrivingGaussian ialah rangka kerja pertama yang menggunakan teknologi percikan Gaussian komposit untuk representasi dan pemodelan pemandangan pemanduan dinamik berskala besar

Memperkenalkan dua modul novel Gaussian dinamik dan komposit dinamik 3D. Plot Gaussian. Yang pertama membina semula latar belakang statik secara berperingkat, manakala yang terakhir memodelkan berbilang objek dinamik menggunakan peta Gaussian. Dibantu oleh lidar priors, kaedah ini membantu memulihkan geometri lengkap dalam senario pemanduan berskala besar

Eksperimen komprehensif menunjukkan bahawa DrivingGaussian mengatasi kaedah sebelumnya dalam mencabar tanda aras pemanduan autonomi dan mampu Mensimulasikan pelbagai situasi ekstrem untuk tugas hiliran

Reka Bentuk Rangkaian

Kertas kerja ini memperkenalkan rangka kerja baharu yang dipanggil DrivingGaussian untuk mewakili senario pemanduan autonomi dinamik paparan sekeliling. Idea utama rangka kerja ini adalah untuk memodelkan senario pemanduan kompleks secara hierarki menggunakan data berurutan daripada berbilang sensor. Dengan menggunakan teknologi Composite Gaussian Splatting, keseluruhan pemandangan diuraikan menjadi latar belakang statik dan objek dinamik, dan setiap bahagian dibina semula secara berasingan. Khususnya, adegan sintetik mula-mula dibina secara berurutan daripada pandangan berbilang kamera melihat sekeliling menggunakan kaedah Gaussian 3D statik tambahan. Kemudian, peta Gaussian dinamik komposit digunakan untuk membina semula setiap objek bergerak secara individu dan menyepadukan secara dinamik ke dalam latar belakang statik melalui peta Gaussian. Atas dasar ini, pemaparan global dilakukan melalui Gaussian Splatting untuk menangkap perhubungan oklusi dalam dunia nyata, termasuk latar belakang statik dan objek dinamik. Di samping itu, kertas kerja ini juga memperkenalkan LiDAR sebelum ke dalam perwakilan GS, yang mampu memulihkan geometri yang lebih tepat dan mengekalkan konsistensi berbilang pandangan yang lebih baik berbanding awan titik yang dijana menggunakan permulaan rawak atau SfM

Sebilangan besar eksperimen menunjukkan bahawa , kaedah kami mencapai prestasi terkini pada set data pemanduan autonomi awam. Walaupun tanpa lidar terlebih dahulu, kaedah kami masih menunjukkan prestasi yang baik, menunjukkan fleksibilitinya dalam membina semula adegan dinamik berskala besar. Selain itu, rangka kerja artikel ini menyokong pembinaan pemandangan dinamik dan simulasi kotak sudut, yang membantu mengesahkan keselamatan dan keteguhan sistem pemanduan autonomi.

Rajah 1. DrivingGaussian mencapai prestasi pemaparan realistik bagi pemandangan pemanduan autonomi dinamik pandangan sekeliling. Kaedah naif [13, 49] sama ada menghasilkan artifak yang tidak menyenangkan dan kabur dalam latar belakang berskala besar atau mengalami kesukaran membina semula objek dinamik dan geometri pemandangan terperinci. DrivingGaussian mula-mula memperkenalkan Composite Gaussian Splatting untuk mewakili latar belakang statik dan berbilang objek dinamik secara berkesan dalam pemandangan pemanduan pemandangan sekeliling yang kompleks. DrivingGaussian mendayakan sintesis pandangan sekeliling berkualiti tinggi merentas berbilang kamera dan memudahkan pembinaan semula pemandangan dinamik jangka panjang.

Rajah 2. Proses keseluruhan kaedah dalam artikel ini. Kiri: DrivingGaussian memperoleh data berterusan daripada berbilang penderia, termasuk imej berbilang kamera dan LiDAR. Pusat: Untuk mewakili senario pemanduan dinamik berskala besar, kertas kerja ini mencadangkan Komposit Gaussian Splatting, yang terdiri daripada dua bahagian. Bahagian pertama secara berperingkat membina semula latar belakang statik yang luas, manakala bahagian kedua menggunakan peta Gaussian untuk membina berbilang objek dinamik dan menyepadukan secara dinamik ke dalam pemandangan. Kanan: DrivingGaussian menunjukkan prestasi yang baik merentas pelbagai tugasan dan senario aplikasi.

Rajah 3. Percikan Gaussian Komposit dengan plot Gaussian 3D statik dan dinamik Gaussian yang bertambah. Artikel ini menggunakan Percikan Gaussian Komposit untuk menguraikan keseluruhan pemandangan menjadi latar belakang statik dan objek dinamik, membina semula setiap bahagian secara berasingan dan menyepadukannya untuk pemaparan global.

Hasil percubaan:

Artikel ini memperkenalkan DrivingGaussian, kaedah berdasarkan cadangan Composite Gaussian Splatting A rangka kerja baru untuk mewakili senario pemanduan autonomi dinamik berskala besar. DrivingGaussian memodelkan latar belakang statik secara progresif menggunakan Gaussian 3D statik tambahan dan menangkap berbilang objek bergerak menggunakan peta Gaussian dinamik komposit. Makalah ini selanjutnya mengeksploitasi sebelum LiDAR untuk mencapai geometri yang tepat dan konsistensi berbilang paparan. DrivingGaussian mencapai prestasi terkini pada dua set data pemanduan autonomi, membolehkan sintesis pandangan sekeliling berkualiti tinggi dan pembinaan semula pemandangan dinamik

🎜🎜Petikan: 🎜🎜🎜Zhou, X., Lin, Z., Shan, X. , Wang, Y., Sun, D., & Yang, M. (2023 DrivingGaussian: Percikan Gaussian Komposit untuk Pemandangan Pemanduan Dinamik ArXiv di sekelilingnya /abs/2312.07920🎜🎜🎜🎜l🎜:🎜🎜. m.sbmmt.com/link/a878dbebc902328b41dbf02aa87abb58🎜🎜

Atas ialah kandungan terperinci Simulasi pemanduan lanjutan: Pembinaan semula pemandangan memandu dengan data sekeliling yang realistik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!