Tajuk baharu: Perenderan masa nyata berkembang! Kaedah inovatif pembinaan semula 3D berdasarkan sinar

Gambar

Pautan kertas:https://arxiv.org/pdf/2310.19629

Pautan kod:https://github.com/vLAR-group/RayHomepage:

ReyDF

kandungan yang ditulis semula ialah: https://vlar-group.github.io/RayDF.html

Kandungan yang ditulis semula: Kaedah pelaksanaan:

Proses dan komponen keseluruhan RayDF adalah seperti berikut (lihat Rajah 1)

1 Pengenalan

Dalam banyak aplikasi canggih dalam bidang penglihatan mesin dan robotik, pelajari tiga yang tepat dan cekap. -ungkapan bentuk dimensi adalah sangat penting. Walau bagaimanapun, ungkapan tersirat sedia ada berdasarkan koordinat 3D memerlukan kos pengiraan yang mahal apabila mewakili bentuk 3D atau memaparkan imej 2D sebaliknya, kaedah berasaskan sinar boleh menyimpulkan bentuk 3D dengan cekap. Walau bagaimanapun, kaedah berasaskan sinar sedia ada tidak mengambil kira ketekalan geometri di bawah sudut berbilang pandangan, menjadikannya sukar untuk memulihkan bentuk geometri yang tepat di bawah sudut tontonan yang tidak diketahui Untuk menangani masalah ini, kertas kerja ini mencadangkan kaedah baharu yang mengekalkan pelbagai pandangan ketekalan geometri Kaedah ungkapan tersirat berasaskan sinar dipanggil RayDF. Kaedah ini berdasarkan medan jarak permukaan sinar yang mudah, dengan memperkenalkan pengelas keterlihatan dwi-ray baharu dan modul pengoptimuman ketekalan berbilang pandangan )

, belajar untuk mendapatkan jarak permukaan sinar yang memenuhi ketekalan geometri berbilang sudut tontonan . Keputusan eksperimen menunjukkan bahawa kaedah yang diubah suai mencapai prestasi pembinaan semula permukaan 3D yang unggul pada tiga set data dan mencapai kelajuan pemaparan 1000 kali lebih pantas daripada kaedah berasaskan koordinat (lihat Jadual 1).

Berikut adalah sumbangan utama:

Menggunakan medan jarak permukaan sinar untuk mewakili bentuk tiga dimensi, ungkapan ini lebih cekap daripada ungkapan berasaskan koordinat sedia ada.

Mereka bentuk pengelas keterlihatan dwi-sinar baharu Dengan mempelajari hubungan ruang bagi mana-mana pasangan sinar, medan jarak permukaan sinar yang dipelajari boleh mengekalkan konsistensi geometri di bawah pelbagai sudut tontonan.
• 
  
Ketepatan dan kecekapan kaedah ini dalam pembinaan semula bentuk 3D telah dibuktikan pada beberapa set data.
• 
  
• 2. Kaedah
  
2.1 Gambaran Keseluruhan

Seperti yang ditunjukkan dalam Rajah 1, RayDF merangkumi dua rangkaian dan modul pengoptimuman. Untuk rangkaian jarak sinar-permukaan rangkaian utama, anda hanya perlu memasukkan sinar untuk mendapatkan nilai jarak antara titik permulaan sinar dan titik permukaan geometri yang terkena sinar. Antaranya, seperti yang ditunjukkan dalam Rajah 2, RayDF menggunakan bola yang mengelilingi pemandangan tiga dimensi untuk membuat parameter sinar input, dan menggunakan koordinat sfera empat dimensi berparameter (titik kejadian dan titik keluar) sebagai input rangkaian. Untuk pengelas keterlihatan dwi-ray rangkaian tambahan, sebagai input sepasang sinar dan titik permukaan geometri, ramalkan keterlihatan bersama antara dua sinar. Selepas dilatih, rangkaian tambahan ini akan memainkan peranan penting dalam modul pengoptimuman konsisten berbilang paparan seterusnya. . Pengelas binari untuk mata. Seperti yang ditunjukkan dalam Rajah 3, ciri-ciri yang diperoleh daripada dua sinar masukan dipuratakan untuk memastikan keputusan yang diramalkan tidak dipengaruhi oleh susunan dua sinar. Pada masa yang sama, ciri-ciri yang diperoleh dengan mengekod titik permukaan secara berasingan disambungkan selepas ciri sinar untuk meningkatkan ciri sinar dan dengan itu meningkatkan ketepatan pengelas.

Struktur rangka kerja pengelas keterlihatan dwi-ray ditunjukkan dalam Rajah 3

2.3 Pengoptimuman Ketekalan Berbilang-pandangan

Berdasarkan rangkaian utama rangkaian jarak-permukaan sinar rangkaian tambahan dan pengelas keterlihatan dwi-ray rangkaian tambahan, Modul utama pengoptimuman ketekalan berbilang paparan diperkenalkan untuk menjalankan latihan dua peringkat pada kedua-dua rangkaian.

(1) Mula-mula, bina pasangan sinar untuk latihan bagi pengelas keterlihatan dwi-ray rangkaian tambahan. Untuk sinar dalam gambar (bersamaan dengan piksel dalam gambar), titik permukaan ruang yang sepadan boleh diketahui melalui jarak permukaan sinarnya Terdapat jarak permukaan sinar yang sepadan Artikel menetapkan ambang 10 mm untuk menentukan sama ada dua sinar boleh dilihat antara satu sama lain.

(2) Peringkat kedua adalah untuk melatih rangkaian jarak sinar-permukaan rangkaian utama supaya medan jarak yang diramalkan memenuhi ketekalan berbilang pandangan. Seperti yang ditunjukkan dalam Rajah 4, untuk sinar utama dan titik permukaannya, titik permukaan disampel secara seragam dengan pusat sfera untuk mendapatkan beberapa sinar berbilang pandangan. Pasangkan sinar utama dengan sinar berbilang pandangan ini satu demi satu, dan keterlihatan bersamanya boleh diperoleh melalui pengelas keterlihatan dwi-ray terlatih. Kemudian ramalkan jarak sinar-permukaan sinar-sinar ini melalui rangkaian jarak sinar-permukaan jika sinar utama dan sinar pensampelan tertentu boleh dilihat bersama, maka titik permukaan yang dikira oleh jarak permukaan sinar kedua-dua sinar itu hendaklah sama; titik; mengikut Fungsi kehilangan sepadan direka dan rangkaian utama dilatih, yang akhirnya membolehkan medan jarak permukaan sinar untuk memenuhi konsistensi berbilang pandangan.

2.4 Penyingkiran Normal Permukaan dan Penyingkiran Titik Outlier pada permukaan Adalah mudah untuk meramalkan nilai jarak yang tidak tepat di tepi, mengakibatkan bunyi pada permukaan geometri di tepi. Nasib baik, medan jarak permukaan sinar yang direka bentuk mempunyai ciri yang baik, seperti ditunjukkan dalam Rajah 5. Vektor normal setiap anggaran titik permukaan tiga dimensi boleh didapati dengan mudah dalam bentuk tertutup melalui pembezaan automatik rangkaian. Oleh itu, jarak Euclidean bagi vektor normal titik permukaan boleh dikira semasa peringkat inferens rangkaian Jika nilai jarak lebih besar daripada ambang, titik permukaan dianggap sebagai outlier dan dihapuskan, dengan itu memperoleh tiga dimensi yang bersih. permukaan yang dibina semula.

Rajah 5 Pengiraan normal permukaan

III Eksperimen

Untuk mengesahkan keberkesanan kaedah yang dicadangkan, kami menjalankan eksperimen pada tiga set data. Tiga set data ialah set data sintetik peringkat objek Blender [1], set data sintetik peringkat pemandangan DM-SR [2] dan set data sebenar peringkat pemandangan ScanNet [3]. Kami memilih tujuh garis dasar untuk perbandingan prestasi. Antaranya, OF [4]/DeepSDF [5]/NDF [6]/NeuS [7] ialah kaedah set tahap berasaskan koordinat, DS-NeRF [8] ialah kaedah berasaskan NeRF yang diselia kedalaman, dan LFN [ 9] dan PRIF [10] ialah dua garis dasar berasaskan sinar

Disebabkan oleh kemudahan kaedah RayDF untuk menambah secara langsung cawangan sinaran untuk mempelajari tekstur, ia boleh dibandingkan dengan model garis dasar yang menyokong medan sinaran ramalan. Oleh itu, eksperimen perbandingan kertas ini dibahagikan kepada dua kumpulan Kumpulan pertama (Kumpulan 1) hanya meramalkan jarak (geometri), dan kumpulan kedua (Kumpulan 2) meramalkan kedua-dua jarak dan sinaran (geometri dan tekstur)

3.1 Penilaian pada Blender Dataset

Seperti yang dapat dilihat daripada Jadual 2 dan Rajah 6, dalam Kumpulan 1 dan 2, RayDF mencapai hasil yang lebih baik dalam pembinaan semula permukaan, terutamanya dalam penunjuk ADE yang paling penting, yang jauh lebih baik daripada garis dasar berdasarkan koordinat dan sinar . Pada masa yang sama, dari segi pemaparan medan sinaran, RayDF juga mencapai prestasi yang setanding dengan DS-NeRF dan lebih baik daripada LFN dan PRIF. . Pada masa yang sama, dalam percubaan Kumpulan 2, RayDF dapat memperoleh sintesis paparan baharu berkualiti tinggi sambil memastikan bentuk permukaan yang tepat dipulihkan (lihat Rajah 7).

Rajah 7 Perbandingan visual set data DM-SR

3.3 Penilaian pada Set Data ScanNet

Jadual 4 membandingkan prestasi RayDF dan garis dasar dalam senario dunia sebenar yang mencabar. Dalam kumpulan pertama dan kedua, RayDF dengan ketara mengatasi garis dasar dalam hampir semua metrik penilaian, menunjukkan kelebihan yang jelas dalam memulihkan adegan 3D dunia sebenar yang kompleks

Berikut ialah Rajah 8 Kandungan Ditulis Semula ScanNet untuk perbandingan visual set data: Dalam Rajah 8, kami menunjukkan hasil perbandingan visual bagi dataset ScanNet

3.4 Kajian Ablasi

Eksperimen ablasi telah dilakukan pada dataset Blender Jadual 5 dalam kertas menunjukkan ablasi pengelas keterlihatan dwi-ray utama Keputusan eksperimen

• ditunjukkan dalam Jadual 5 (1 Tanpa bantuan pengelas keterlihatan dwi-ray, medan jarak permukaan sinar tidak akan dapat meramalkan nilai jarak yang munasabah untuk sinar di bawah sudut tontonan baharu (lihat Rajah). 9).
  
• Dalam input pengelas, koordinat titik permukaan input dipilih sebagai tambahan, seperti yang ditunjukkan dalam Jadual 5 (2) dan (3 Jika nilai jarak titik permukaan dipilih sebagai tambahan atau tiada maklumat tambahan disediakan). pengelas Ketepatan yang lebih rendah dan skor F1 akan diperoleh, menyebabkan maklumat keterlihatan tidak mencukupi untuk rangkaian jarak permukaan sinar, dengan itu meramalkan nilai jarak yang salah.
  
• Seperti yang ditunjukkan dalam Jadual 5 (4), dengan memasukkan sepasang sinar dengan cara tidak simetri, pengelas terlatih mempunyai ketepatan yang lebih tinggi tetapi skor F1 yang lebih rendah. Ini menunjukkan bahawa pengelas ini secara ketara kurang teguh daripada pengelas yang dilatih dengan sinar input simetri. .
  IV. Kesimpulan

Semasa menjalankan penyelidikan menggunakan rangka kerja konsistensi berbilang pandangan berasaskan sinar, kertas kerja membuat kesimpulan bahawa perwakilan bentuk tiga dimensi boleh dipelajari dengan cekap dan tepat melalui kaedah ini. Dalam kertas kerja, medan jarak sinar-permukaan mudah digunakan untuk mewakili geometri bentuk tiga dimensi, dan pengelas keterlihatan dwi-ray novel digunakan untuk terus mencapai konsistensi geometri berbilang pandangan. Eksperimen pada beberapa set data telah membuktikan bahawa kaedah RayDF mempunyai kecekapan pemaparan yang sangat tinggi dan prestasi cemerlang. Sambungan lanjut kepada rangka kerja RayDF dialu-alukan. Anda boleh melihat lebih banyak hasil visualisasi di halaman utama

Kandungan yang perlu ditulis semula ialah: https://vlar-group.github.io/RayDF.html

Kandungan yang perlu ditulis semula ialah: Asal pautan ：https://mp.weixin.qq.com/s/dsrSHKT4NfgdDPYcKOhcOA

Atas ialah kandungan terperinci Tajuk baharu: Perenderan masa nyata berkembang! Kaedah inovatif pembinaan semula 3D berdasarkan sinar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!