Jadikan peninggalan budaya 'hidup', teknologi pembinaan semula 3D awan video enjin gunung berapi didedahkan

Rajah SDF

Cara menyelia rangkaian neural agar sesuai dengan SDF perlu dikaji masalah. Mula-mula gunakan algoritma Structure from Motion (SfM) untuk mengira dengan tepat postur kamera bagi imej yang ditangkap. Dengan postur kamera, maklumat spatial yang diwakili oleh SDF dipaparkan pada imej menggunakan kaedah pemaparan boleh dibezakan, dan imej yang diberikan dibandingkan dengan imej yang dikumpul dari perspektif itu, dan rangkaian saraf dioptimumkan secara berterusan untuk menjadikan SDF lebih baik pada setiap perspektif koleksi. Hasil pemaparan adalah sekonsisten mungkin dengan imej yang ditangkap sebenar.

Untuk meningkatkan lagi ketepatan pembinaan semula, titik tiga dimensi yang diperoleh melalui pembinaan semula jarang ditambah sebagai kekangan semasa mengoptimumkan SDF, yang boleh memulihkan ciri terperinci objek dengan lebih baik. Untuk mencapai tujuan pembinaan semula yang lengkap, Makmal Multimedia Enjin Volcano juga menggabungkan algoritma segmentasi dan algoritma pembinaan semula untuk membina semula kawasan bawah objek dengan berkesan.

Memandangkan objek perlu dibetulkan pada kedudukan tertentu semasa proses pengimbasan, tiada gambar boleh dikumpulkan dari permukaan bawah objek. Pembinaan semula objek yang lengkap adalah untuk menyelesaikan masalah pembinaan semula bahagian bawah objek Kaedah biasa ialah kaedah penggantungan atau pembinaan semula berbilang segmen ditambah penyambungan selepas pemprosesan. Kaedah penggantungan tidak cukup selamat untuk peninggalan budaya, dan proses pemprosesan selepas penyambungan adalah panjang dan tidak boleh diautomasikan. Atas sebab ini, Volcano Engine Multimedia Laboratory telah menambahkan segmentasi imej automatik pada algoritma pembinaan semula, yang boleh menyatukan data yang diambil daripada tangkapan hadapan dan belakang dan membina semula mereka bersama-sama untuk mendapatkan hasil pembinaan semula yang lengkap daripada hasil pembinaan semula yang lengkap Seperti yang ditunjukkan di bawah.

Memodelkan hasil tanpa teknik pembinaan semula penuh

Memodelkan hasil menggunakan teknologi pembinaan semula yang lengkap

Sorotan ialah cabaran utama untuk pembinaan semula objek Di satu pihak, sorotan mempengaruhi padanan titik ciri, mengakibatkan pose kamera yang tidak tepat sorotan juga akan memusnahkan ketekalan hasil pemerhatian antara sudut tontonan yang berbeza, menyebabkan gangguan kepada pembinaan semula. Untuk tujuan ini, Volcano Engine Multimedia Laboratory telah meringkaskan satu set kaedah untuk menghapuskan sorotan menggunakan cahaya terpolarisasi, yang secara berkesan boleh mengeluarkan sejumlah besar sorotan Perbandingan hasil penyingkiran sorotan ditunjukkan dalam rajah di bawah.

Sebelum mengalih keluar sorotan

Selepas menghapuskan sorotan

Kaedah Makmal Multimedia Enjin Gunung Berapi juga boleh mensimulasikan sifat pantulan/pembiasan objek berbeza untuk merealisasikan pembinaan khas objek material. Model , Hasil pembinaan semula peninggalan budaya ditunjukkan dalam rajah di bawah.

Gambar asal peninggalan budaya

Hasil pembinaan semula peninggalan budaya

Sesetengah daripada peninggalan budaya di empat muzium utama adalah peninggalan budaya yang berharga seperti kertas dan buluh peninggalan ini juga sukar untuk dibawa keluar dan dikumpulkan dari kabinet pameran. Sebagai tindak balas kepada situasi ini, Makmal Multimedia Enjin Gunung Berapi mempunyai peralatan pengumpulan yang dibangunkan sendiri yang menggabungkan polarizer optik, yang boleh menghapuskan masalah cahaya sesat, sorotan dan pantulan yang disebabkan oleh kabinet paparan kaca, membolehkan kami mempunyai lapisan kaca perlindungan Walaupun dalam keadaan cangkerang, peninggalan budaya masih diimbas dan dibina semula dengan kesetiaan yang tinggi.

Artifak dalam bekas paparan kaca

Hasil pembinaan semula peninggalan budaya

Selain itu, teknologi pembinaan semula objek Makmal Multimedia Enjin Volcano juga termasuk Anggaran pose yang tepat, tekstur realistik ( Pantulan meresap, pantulan spekular, lutsinar ) Pemulihan bahan kompleks dan pembinaan semula permukaan halus juga dalam " Ia adalah digunakan dalam projek "Nota Perjalanan Buku Purba" untuk mencapai pemulihan 1:1 kesetiaan tinggi bagi peninggalan budaya berharga dan menukarnya kepada sumber digital, membolehkan penonton "menyelami" muzium dan menjadikan koleksi lebih popular.

Teknologi pembinaan semula objek Makmal Multimedia Enjin Gunung Berapi mempunyai kesejagatan yang kuat Ia bukan sahaja sesuai untuk peninggalan budaya, tetapi juga sesuai untuk beberapa objek yang sukar diproses dengan pembinaan semula tradisional , seperti bilah yang sangat nipis, dsb., juga boleh mencapai hasil pembinaan semula yang baik.

Atas: prop seperti pisau dan batang kayu; 🎜> 2.2 Algoritma pembinaan semula pemandangan yang dibina sendiri: kecekapan yang lebih tinggi, ketepatan yang lebih tinggi

Dalam hal ini,

Makmal Multimedia Enjin Gunung Berapi menggabungkan teknologi AI dan prinsip asas geometri berbilang pandangan untuk membina rangka kerja algoritma pembinaan semula visual yang teguh, tepat dan lengkap. Proses pembinaan semula terdiri daripada tiga langkah utama : pemprosesan imej, pengoptimuman awan titik dan pembinaan semula jaringan .

Makmal Multimedia Enjin Volcano menggunakan teknologi kecerdasan buatan termaju untuk melakukan denoising, resolusi super

dan pengekstrakan ciri pada imej dan padanan dan pemprosesan lain , dengan itu mengatasi banyak batasan kaedah tradisional. Kemudian algoritma SfM dan Pelarasan Bundle (BA) digunakan untuk mengekstrak struktur geometri dan parameter kamera yang jarang daripada imej. Pada masa yang sama, pasukan itu membangunkan algoritma anggaran pose yang menyokong input data berbilang sensor seperti kamera panoramik, kumpulan berbilang kamera, kamera RGBD, lidar, GPS/IMU, dsb., untuk mencapai ketepatan tinggi, berbilang modal. , dan pembinaan semula jarang adaptif. Untuk memproses data berskala besar, pasukan membangunkan pembinaan semula blok dan strategi penggabungan peta untuk mencapai pembinaan semula selari kelompok teragih, meningkatkan kecekapan pembinaan semula dengan ketara. Selepas melengkapkan pembinaan semula pemandangan yang jarang dilakukan, tukar maklumat imej dua dimensi kepada maklumat awan titik tiga dimensi

Selepas memperoleh awan titik pemandangan, lakukan pembinaan semula Mesh. Makmal Multimedia Enjin Volcano telah membangunkan sendiri pelbagai algoritma pengoptimuman grid untuk mencapai pelicinan grid, denoising, penyederhanaan dan pengisian lubang untuk mendapatkan model grid yang lebih halus, lengkap dan berkualiti tinggi. Terima kasih kepada anggaran pose kamera berketepatan tinggi dan pengoptimuman kualiti imej semasa pemprosesan imej, digabungkan dengan algoritma pemetaan yang dibangunkan sendiri, peta tekstur berkualiti tinggi dengan definisi yang lebih tinggi dan jahitan yang lebih sedikit boleh diperolehi. Pada masa yang sama, algoritma pembungkusan semula tekstur dioptimumkan untuk mencapai penggunaan tekstur yang lebih tinggi, mengurangkan sisa sumber penyimpanan dan meningkatkan resolusi tekstur yang berkesan.

Algoritma pendaftaran imej tradisional

Gunung berapi Algoritma Awan Video Enjin

Algoritma Pemodelan Tradisional

Hasil pemodelan algoritma awan video enjin gunung berapi

Pemodelan pemandangan bandar

Algoritma Awan Video Enjin Gunung Berapi

Hasil pembinaan semula Kuil Suzhou Yuantong

Teknologi pembinaan semula item dan teknologi pembinaan semula tempat kejadian Makmal Multimedia Enjin Gunung Berapi Ia boleh memulihkan tinggalan budaya yang berbeza saiz dan bentuk dalam perkadaran yang sama dan dengan ketepatan tinggi. Teknologi yang disebutkan di atas boleh menukar peninggalan budaya luar talian kepada dalam talian, dan merealisasikan persembahan maya peninggalan budaya dalam PICO dan Douyin Pengguna boleh bermain dengan tulisan tulang oracle di tangan mereka dan melihat teks padanya dengan jelas, mencapai pengalaman menonton peninggalan budaya. yang tidak tersedia dalam lawatan tradisional , dan pada masa yang sama, anda boleh mengatasi had ruang dan bersiar-siar di sekitar Grottoes Dunhuang. Di samping itu, teknologi ini boleh menukar peninggalan budaya berharga luar talian kepada sumber digital kekal dalam talian, merealisasikan perlindungan digital peninggalan budaya dan membolehkan generasi akan datang mengalami gambaran penuh peninggalan budaya secara peribadi.

2.3 Teknologi video medan cahaya yang dibangunkan sendiri: masalah mengimbangi kos dan ketepatan

Untuk dapat menonton tarian besar secara mendalam dalam Dunhuang Grottoes maya dan merasakan bahawa ia mengatasi realiti Pengalaman, Volcano Engine Multimedia Laboratory yang dibangunkan sendiri teknologi video medan cahaya boleh membina semula watak dan adegan dinamik dengan kesetiaan tinggi, mencapai tahap lanjutan industri .

Data jejaring 3D dinamik (Jaringan Dinamik) boleh mewakili watak dan pemandangan yang dinamik, tetapi cara membina semula jejaring 3D dinamik berkualiti tinggi dan menjadikan imej yang baru dipaparkan sebagai realistik seperti foto adalah masalah yang sukar . Jika adegan dibina semula secara manual oleh pereka pemandangan 3D, kualiti pembinaan semula yang lebih baik akan diperolehi, tetapi kos buruh yang lebih besar akan ditanggung jika adegan 3D dibina semula secara automatik melalui algoritma seperti SFM/MVS, tekstur pemandangan itu diperlukan untuk dibina semula. Keperluan tertentu diperlukan, dan hasil pembinaan semula mungkin mengandungi butiran geometri yang tidak tepat dan herotan tekstur.

Teknologi medan sinaran saraf menggunakan rangkaian saraf untuk pembinaan semula tersirat dan menggunakan model pemaparan yang boleh dibezakan untuk mempelajari cara untuk memaparkan imej daripada perspektif baharu daripada pandangan sedia ada, dengan itu mencapai pemaparan imej fotorealisme, iaitu Medan Sinaran Neural teknologi (NeRF). Model pemaparan boleh dibezakan memodelkan proses pemaparan daripada model dan tekstur ruang tiga dimensi kepada imej Ciri boleh dibezakan membolehkan geometri dan tekstur ruang tiga dimensi dipelajari melalui rangkaian saraf di bawah pengawasan imej perspektif sedia ada. Di bawah perspektif baharu yang tidak diketahui, geometri ruang tiga dimensi yang dipelajari boleh dipaparkan semula untuk mendapatkan imej daripada perspektif baharu.

Makmal Multimedia Enjin Gunung Berapi menggabungkan teknologi medan sinaran saraf dengan teknologi pemodelan mesh tradisional. Dalam amalan khusus, garis besar geometri kasar watak mula-mula dibina semula, dan teknologi NeRF dipertingkatkan, garis besar geometri digabungkan sebagai priori untuk menambah panduan latihan, geometri ruang tiga dimensi dipelajari secara tersirat, dan imej daripada perspektif baharu yang padat dipaparkan semula. Semasa proses latihan medan sinaran saraf, untuk adegan watak dinamik, pasukan menggunakan beberapa strategi pengoptimuman untuk meningkatkan kesan penjanaan perspektif baharu dalam adegan ini, seperti menggunakan ungkapan hierarki berdasarkan pengekodan cincang untuk meningkatkan kelajuan latihan model dan menggunakan latihan penstriman untuk menambah baik dinamik antara bingkai adegan, dsb. Akhir sekali, teknologi gabungan video digunakan untuk mempelajari maklumat latar belakang secara automatik dan merealisasikan pencahayaan semula latar depan, supaya pelakon latar depan dan adegan latar belakang boleh disepadukan dengan lancar.

Pada masa yang sama, teknologi video medan cahaya Makmal Multimedia Enjin Gunung Berapi boleh merealisasikan penyuntingan, pembinaan semula dan penghasilan semula NeRF adegan besar dinamik yang kompleks .

Teknologi video medan cahaya Makmal Multimedia Enjin Volcano hanya memerlukan Keupayaan berbilang kamera yang jarang menjana data medan cahaya padat, terutamanya menggunakan teknologi penjanaan perspektif baharu berdasarkan pembelajaran mendalam. Berbanding dengan data video tradisional, data video medan cahaya mempunyai ciri volum data yang besar Pasukan ini menggunakan teknologi pengekodan pengagregatan berbilang paparan untuk memampatkan data medan cahaya untuk mengurangkan tekanan penghantaran dan penyimpanan. Digabungkan dengan teknologi siaran langsung berskala besar dan teknologi penghantaran RTC , adalah mungkin untuk mencapai siaran langsung atas permintaan dan video medan cahaya.

3 Ringkasan dan Tinjauan

Memandangkan teknologi 3D terus matang, teknologi 3D Volcano Engine Multimedia Laboratory bukan. hanya aplikasi khusus telah dilaksanakan dalam bidang VR, pemanduan autonomi, siaran langsung video, permainan dan senario lain, dan akan terus diterokai dalam bidang industri, penjagaan perubatan, pembinaan dan kelengkapan rumah, aeroangkasa dan bidang lain. Volcano Engine berharap untuk menggunakan secara meluas teknologi pembinaan semula objek, teknologi pembinaan semula pemandangan dan teknologi video medan ringan kepada produk dan projek dalam pelbagai industri, memberi perkhidmatan kepada pelanggan korporat, dan membawa pengguna pengalaman inovatif yang lebih tinggi, lebih interaktif dan mengasyikkan.

Makmal Multimedia Enjin Gunung Berapi ialah pasukan penyelidikan di bawah Bytedance Ia komited untuk meneroka teknologi termaju dalam bidang multimedia dan mengambil bahagian dalam kerja penyeragaman antarabangsa Banyak algoritma inovatif serta penyelesaian perisian dan perkakasannya telah meluas digunakan dalam perniagaan Douyin, Douyin, Multimedia untuk produk seperti Xigua Video, dan menyediakan perkhidmatan teknikal kepada pelanggan peringkat perusahaan Volcano Engine. Sejak penubuhan makmal, banyak kertas kerja telah dipilih ke dalam persidangan antarabangsa terkemuka dan jurnal perdana, dan telah memenangi beberapa kejohanan pertandingan teknikal antarabangsa, anugerah inovasi industri dan anugerah kertas terbaik.