Pembinaan semula 3D dua gambar dalam 2 saat! Alat AI ini popular di GitHub, netizen: Lupakan Sora

Only 2 Pictures , tidak perlu mengukur sebarang data tambahan -

dangdang, beruang 3d lengkap ada:

Ini alat baru yang dipanggil dust3r sangat popular. telah dilancarkan, ia menduduki tempat kedua dalam senarai hangat GitHub.

Seorang netizen sebenarnya menguji dan mengambil dua gambar untuk benar-benar mencipta semula dapurnya mengambil masa kurang daripada 2 saat!

(Selain imej 3D, ia juga boleh memberikan imej mendalam, imej keyakinan dan imej awan titik pada masa yang sama)

Rakan ini sangat terkejut sehingga dia berkata:

Lupakan semua tentang sora dulu Nah, inilah yang boleh kita lihat dan sentuh sebenarnya.

Eksperimen menunjukkan bahawa DUSt3R mencapai SOTA dalam tiga tugas anggaran kedalaman monokular/berbilang pandangan dan anggaran pose relatif.

Pasukan pengarang

(dari Universiti Aalto di Finland + NAVER LABS Institut Penyelidikan Kecerdasan Buatan Cawangan Eropah)

"manifesto" juga penuh dengan momentum:

Kami mahu menjadikan dunia tidak lagi sukar untuk menyelesaikan visual 3D tugasan.

Jadi, bagaimana ia dilakukan?

“semua-dalam-satu”

Untuk tugas pembinaan semula stereo berbilang paparan

(MVS)

, langkah pertama ialah menganggar parameter kamera, termasuk parameter dalaman dan luaran. Operasi ini membosankan dan menyusahkan, tetapi ia amat diperlukan untuk triangulasi piksel seterusnya dalam ruang tiga dimensi, dan ini merupakan bahagian yang tidak dapat dipisahkan daripada hampir semua algoritma MVS dengan prestasi yang lebih baik.

Dalam kajian artikel ini, DUSt3R yang diperkenalkan oleh pasukan pengarang menggunakan pendekatan yang sama sekali berbeza.

Ia

tidak memerlukan sebarang maklumat awal tentang penentukuran kamera atau pose sudut pandang, dan boleh melengkapkan pembinaan semula 3D yang padat atau tidak terhad bagi imej sewenang-wenangnya. Di sini, pasukan merumuskan masalah pembinaan semula berpasangan sebagai regresi titik-plot, menyatukan situasi pembinaan semula monokular dan binokular.

Apabila lebih daripada dua imej input disediakan, semua pasangan imej titik diwakili ke dalam bingkai rujukan biasa melalui strategi penjajaran global yang mudah dan berkesan.

Seperti yang ditunjukkan dalam rajah di bawah, diberikan satu set foto dengan pose kamera yang tidak diketahui dan ciri-ciri intrinsik, DUSt3R mengeluarkan set peta titik yang sepadan, dari mana kita boleh mendapatkan semula secara langsung pelbagai kuantiti geometri yang biasanya sukar untuk dianggarkan secara serentak, seperti parameter kamera, korespondensi Pixel, peta kedalaman dan kesan pembinaan semula 3D yang konsisten sepenuhnya.

(Pengarang mengingatkan bahawa DUSt3R juga boleh digunakan untuk satu imej input)

Dari segi seni bina rangkaian tertentu, DUSt3R adalah berdasarkan

pengekod Transformer standard dan penyahkod oleh CroCo (melalui silang Satu kajian tentang pra-latihan yang diselia sendiri untuk tugas penglihatan 3D diilhamkan oleh dan dilatih menggunakan kehilangan regresi mudah. Seperti yang ditunjukkan dalam gambar di bawah, dua pandangan (I1, I2)

adegan pertama kali dikodkan dalam cara Siam

menggunakan pengekod ViT kongsi. Perwakilan token yang terhasil (F1

dan F

2) ^{kemudian dihantar kepada dua penyahkod Transformer, yang secara berterusan bertukar maklumat melalui perhatian silang.}

Akhir sekali, kedua-dua kepala regresi mengeluarkan dua peta titik yang sepadan dan peta keyakinan yang berkaitan.

Intinya ialah kedua-dua plot titik mesti diwakili dalam sistem koordinat yang sama bagi imej pertama.

Berbilang tugasan telah dianugerahkan SOTA

Percubaan menilai prestasi DUST3R pada tugas anggaran pose mutlak pada 7Scenes (7 adegan dalaman) dan Mercu Tanda Cambridge (8 adegan luar) set data ralat dan ralat (lebih kecil nilainya, lebih baik) .

Pengarang menyatakan bahawa berbanding dengan pemadanan ciri sedia ada dan kaedah hujung ke hujung, prestasi DUSt3R adalah luar biasa.

Sebab pertama, ia tidak pernah menerima latihan kedudukan visual, dan kedua, ia tidak pernah menemui imej pertanyaan dan imej pangkalan data semasa proses latihan.

Kedua, ialah tugas regresi pose berbilang pandangan yang dilakukan pada 10 bingkai rawak. Keputusan DUST3R mencapai hasil terbaik pada kedua-dua set data.

Mengenai tugas anggaran kedalaman monokular, DUSt3R juga boleh memegang adegan dalaman dan luaran dengan baik, dengan prestasi yang lebih baik daripada garis dasar yang diselia sendiri dan setanding dengan garis dasar diselia yang paling maju.

Dari segi anggaran kedalaman berbilang paparan, prestasi DUST3R juga cemerlang.

Berikut ialah kesan pembinaan semula 3D yang diberikan oleh kedua-dua kumpulan Untuk memberi anda rasa, hanya dua imej dimasukkan:

(1)

(2)

pengukuran: Tidak mengapa jika dua gambar tidak bertindih Seorang netizen memberikan DUSt3R dua imej tanpa sebarang kandungan bertindih Akibatnya, ia juga mengeluarkan paparan 3D yang tepat dalam beberapa saat:

(Gambar itu. pejabatnya, jadi saya mesti tidak pernah melihatnya dalam latihan)

Sebagai tindak balas, beberapa netizen mengatakan bahawa ini bermakna kaedah ini tidak membuat "pengukuran objektif" di sana, tetapi berkelakuan lebih seperti AI.

Selain itu, ada yang ingin tahu

sama ada kaedah itu masih berfungsi apabila imej input diambil oleh dua kamera berbeza?

Sesetengah netizen benar-benar mencubanya, dan jawapannya ialah

ya!

Portal:
[1] org 3/ab.4
[2] Kod https://github.com/naver/dust3r