LightSim: Platform simulasi pencahayaan pemanduan autonomi yang dilancarkan di NeurIPS 2023 untuk mencapai pengalaman simulasi yang realistik, boleh dikawal dan berskala

Baru-baru ini, penyelidik dari Waabi AI, University of Toronto, University of Waterloo dan MIT mencadangkan platform simulasi pencahayaan pemanduan autonomi baharu LightSim di NeurIPS 2023. Penyelidik telah mencadangkan kaedah untuk menjana data latihan pencahayaan berpasangan daripada data sebenar, menyelesaikan masalah kehilangan data dan kehilangan migrasi model. LightSim menggunakan medan sinaran saraf (NeRF) dan rangkaian dalam berasaskan fizik untuk menghasilkan video pemanduan kenderaan, mencapai simulasi pencahayaan adegan dinamik pada data sebenar berskala besar buat kali pertama.

• Tapak web projek: https://waabi.ai/lightsim
• Pautan kertas: https://openreview.net/pdf?id=mcx8IGneYw

Mengapa anda memerlukan simulasi pencahayaan pemanduan autonomi?

Simulasi kamera sangat penting dalam robotik, terutamanya untuk kenderaan autonomi untuk melihat pemandangan luar. Walau bagaimanapun, sistem persepsi kamera sedia ada berprestasi buruk apabila mereka menghadapi keadaan pencahayaan luar yang belum dipelajari semasa latihan. Menjana set data yang kaya dengan perubahan pencahayaan luar melalui simulasi kamera boleh meningkatkan keteguhan sistem pemanduan autonomi.

Kaedah simulasi kamera biasa biasanya berdasarkan enjin fizik. Kaedah ini menjadikan pemandangan dengan menetapkan model 3D dan keadaan pencahayaan. Walau bagaimanapun, kesan simulasi sering kekurangan kepelbagaian dan tidak cukup realistik. Tambahan pula, disebabkan bilangan model 3D berkualiti tinggi yang terhad, hasil pemaparan fizikal tidak betul-betul sepadan dengan adegan dunia sebenar. Ini membawa kepada keupayaan generalisasi yang lemah bagi model terlatih pada data sebenar.

Yang lain adalah berdasarkan kaedah simulasi dipacu data. Ia menggunakan pemaparan saraf untuk membina semula kembar digital dunia sebenar yang mereplikasi data yang diperhatikan oleh penderia. Pendekatan ini membolehkan penciptaan pemandangan yang lebih berskala dan realisme yang dipertingkatkan, tetapi teknologi sedia ada cenderung untuk membakar pencahayaan pemandangan ke dalam model 3D, yang menghalang pengeditan kembar digital, seperti menukar keadaan pencahayaan atau menambah atau memadamkan Objek baharu, dsb.

Dalam kerja di NeurIPS 2023, penyelidik dari Waabi AI menunjukkan sistem simulasi pencahayaan berdasarkan enjin fizik dan rangkaian saraf LightSim: Simulasi Pencahayaan Neural untuk Pemandangan Bandar. serentak dicapai:

1

Realistik

: Buat pertama kalinya, ia telah mencapai simulasi pencahayaan pemandangan dinamik luar berskala besar, dan boleh mensimulasikan bayang-bayang, kesan pencahayaan antara objek dengan lebih tepat, dsb.

2.

Boleh dikawal

: Menyokong pengeditan adegan pemanduan dinamik (menambah, memadam objek, kedudukan dan parameter kamera, menukar pencahayaan, menjana adegan kritikal keselamatan, dll.) untuk menjana video yang lebih realistik dan konsisten Untuk meningkatkan kekukuhan sistem kepada keadaan pencahayaan dan tepi. 3.

Berskala

: Mudah dikembangkan kepada lebih banyak senario dan set data yang berbeza Ia hanya perlu mengumpul data sekali (laluan tunggal) untuk membina semula dan menjalankan ujian simulasi yang sebenar dan boleh dikawal.

Membina sistem simulasi data yang dikumpul Bahagikan objek dinamik dan pemandangan statik. Langkah ini menggunakan UniSim untuk membina semula pemandangan dan mengalih keluar pergantungan paparan kamera dalam rangkaian. Kemudian gunakan kiub kawad untuk mendapatkan geometri, dan seterusnya menukarnya kepada jaringan dengan bahan asas.

Selain bahan dan geometri, LightSim juga boleh menganggarkan pencahayaan luar berdasarkan matahari dan langit, sumber cahaya utama pemandangan siang hari luar, dan mendapatkan peta persekitaran julat dinamik tinggi (HDR Sky dome). Menggunakan data penderia dan geometri yang diekstrak, LightSim boleh menganggarkan imej panorama yang tidak lengkap dan kemudian melengkapkannya untuk mendapatkan pandangan 360° penuh langit. Imej panorama dan maklumat GPS ini kemudiannya digunakan untuk menjana peta persekitaran HDR yang menganggarkan keamatan matahari, arah matahari dan rupa langit dengan tepat.

Langkah Kedua: Simulasi Pencahayaan Neural bagi Pemandangan Bandar Dinamik

Selepas mendapat kembar digital, ia boleh diubah suai lagi, seperti menambah atau mengalihkan objek, menukar trajektori kenderaan dan lain-lain. untuk menjana perwakilan realiti tambahan. LightSim akan melakukan pemaparan berasaskan fizikal, menjana data berkaitan pencahayaan seperti warna asas, kedalaman, vektor biasa dan bayang-bayang untuk mengubah suai pemandangan. Menggunakan data berkaitan pencahayaan ini dan anggaran sumber pemandangan dan keadaan pencahayaan sasaran, aliran kerja LightSim adalah seperti berikut.

Walaupun imej yang dihasilkan berasaskan fizikal melakukan kerja yang baik dalam membina semula kesan pencahayaan dalam pemandangan, disebabkan ketidaksempurnaan dalam geometri dan ralat dalam penguraian bahan/cahaya, hasil pemaparan sering kali tidak mempunyai realisme, seperti pantulan permukaan yang kabur, tidak realistik dan artifak sempadan. Oleh itu, penyelidik telah mencadangkan rendering tertunda saraf untuk meningkatkan realisme. Mereka memperkenalkan rangkaian sintesis imej yang mengambil imej sumber dan penimbal prakiraan data berkaitan pencahayaan yang dijana oleh enjin pemaparan untuk menjana imej akhir. Pada masa yang sama, kaedah dalam kertas itu juga menyediakan rangkaian dengan peta persekitaran untuk meningkatkan konteks pencahayaan, dan menjana imej berpasangan melalui kembar digital, menyediakan simulasi berpasangan novel dan skim latihan data sebenar.

Simulasi Kemampuan Demonstrasi Ketua Pencahayaan Adegan (Pemandangan Pemandangan)

lightsim boleh menyebabkan adegan yang sama dengan cara yang konsisten di bawah keadaan pencahayaan baru. Seperti yang ditunjukkan dalam video, kedudukan matahari dan rupa langit yang baharu menyebabkan bayang-bayang dan rupa adegan itu berubah.

LightSim boleh melakukan pencahayaan semula pemandangan dalam kelompok, menghasilkan perubahan pencahayaan yang konsisten masa dan peka 3D baharu bagi pemandangan yang sama daripada peta persekitaran HDR yang dianggarkan dan sebenar.

Suntingan Bayangan

Perwakilan pencahayaan LightSim boleh diedit dan boleh menukar arah matahari, sekali gus mengemas kini perubahan pencahayaan dan arah bayang-bayang matahari yang berkaitan LightSim menjana video berikut dengan memutarkan peta persekitaran HDR dan menghantarnya ke modul Neural Deferred Rendering.

LightSim juga boleh melakukan penyuntingan bayang secara berkelompok.

Sisipan Pelakon Sedar Pencahayaan

Selain mengubah suai pencahayaan, LightSim juga boleh melakukan penambahan yang menyedari pencahayaan pada objek luar biasa seperti halangan seni bina. Objek tambahan ini boleh mengemas kini bayang-bayang pencahayaan objek, menutup objek dengan tepat dan menyesuaikan diri secara spatial kepada keseluruhan konfigurasi kamera.

Pemindahan Simulasi (Generalisasi kepada nuScenes)

Oleh kerana rangkaian pemaparan tertunda neural LightSim dilatih pada berbilang video pemanduan, LightSim boleh digeneralisasikan kepada adegan baharu. Video berikut menunjukkan keupayaan LightSim untuk membuat generalisasi kepada adegan memandu dalam nuScenes. LightSim membina kembar digital peka cahaya bagi setiap adegan, yang kemudiannya digunakan pada model pemaparan tertunda saraf yang telah dilatih pada PandaSet. Penghijrahan LightSim berfungsi dengan baik dan boleh menghidupkan semula adegan dengan agak mantap.

Simulasi kamera sebenar dan boleh dikawal

Berdasarkan semua fungsi yang ditunjukkan di atas, LightSim mencapai simulasi kamera yang boleh dikawal, pelbagai dan realistik. Video berikut menunjukkan keupayaan simulasi adegan LightSim. Dalam video itu, sebuah kereta berwarna putih membuat pertukaran lorong kecemasan ke lorong SDV, memperkenalkan sekatan jalan baharu, yang menyebabkan kereta putih itu memasuki adegan baharu sepenuhnya Kesan yang dihasilkan oleh LightSim di bawah pelbagai keadaan pencahayaan di adegan baharu adalah seperti berikut : .Contoh lain ditunjukkan dalam video di bawah, di mana satu set kenderaan baharu telah ditambah selepas memasukkan halangan jalan baharu. Menggunakan pencahayaan simulasi yang dibina dengan LightSim, kenderaan yang baru ditambah boleh disepadukan dengan lancar ke dalam tempat kejadian.

Ringkasan dan Tinjauan

LightSim ialah platform simulasi kamera peka cahaya yang berfungsi untuk mengendalikan adegan pemanduan dinamik berskala besar. Ia boleh membina kembar digital yang menyedari pencahayaan berdasarkan data dunia sebenar dan mengubah suainya untuk mencipta pemandangan baharu dengan reka letak objek yang berbeza dan perspektif SDV. LightSim mampu mensimulasikan keadaan pencahayaan baharu pada pemandangan untuk simulasi kamera yang pelbagai, realistik dan boleh dikawal, menghasilkan video yang konsisten dari segi tempo/spatial. Perlu diingat bahawa LightSim juga boleh digabungkan dengan pemaparan terbalik, simulasi cuaca dan teknologi lain untuk meningkatkan lagi prestasi simulasi.

Atas ialah kandungan terperinci LightSim: Platform simulasi pencahayaan pemanduan autonomi yang dilancarkan di NeurIPS 2023 untuk mencapai pengalaman simulasi yang realistik, boleh dikawal dan berskala. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!