Satu GPU, 20 model sesaat! Mainan baharu NVIDIA menggunakan GET3D untuk mencipta alam semesta

Abracadabra!

Dari segi penjanaan 2D model 3D, Nvidia telah melancarkan penyelidikan "bertaraf dunia" yang diisytiharkan sendiri: GET3D.

Selepas latihan tentang imej 2D, model boleh menjana bentuk 3D dengan tekstur ketelitian tinggi dan butiran geometri yang kompleks.

Berapa kuasanya?

Bentuk, tekstur, penyesuaian bahan

GET3D dinamakan kerana keupayaannya menjana jerat 3D bertekstur eksplisit (Janakan jerat 3D Tekstur Eksplisit) .

Alamat kertas: https://arxiv.org/pdf/2209.11163.pdf

Iaitu bentuk yang diciptanya adalah dalam bentuk jala segi tiga, seperti model kertas, ditutup dengan bahan bertekstur.

Kuncinya ialah model ini boleh menjana pelbagai model berkualiti tinggi.

Contohnya, pelbagai roda pada kaki kerusi, lampu dan cermin telinga haiwan; , pakaian manusia...

Bangunan unik di kedua-dua belah jalan, kenderaan yang berbeza berpusing-pusing, dan orang lain yang lalu lalang Tetapi...

Ia sangat memakan masa untuk mencipta dunia maya 3D yang sama melalui pemodelan manual.

Walaupun model AI yang dijana 3D sebelumnya lebih pantas daripada pemodelan manual, mereka masih kekurangan keupayaan untuk menjana model yang lebih terperinci.

Malah kaedah rendering songsang terkini hanya boleh menjana objek 3D berdasarkan imej 2D yang diambil dari pelbagai sudut, Pembangun hanya boleh membina satu objek 3D pada satu masa.

GET3D adalah berbeza.

Pembangun boleh mengimport model yang dijana dengan mudah ke dalam enjin permainan, pemodel 3D dan pemapar filem untuk mengeditnya.

Apabila pencipta mengeksport model yang dijana GET3D ke aplikasi grafik, mereka boleh menggunakan kesan pencahayaan yang realistik semasa model bergerak atau berputar dalam pemandangan.

Seperti yang ditunjukkan dalam gambar:

Selain itu, GET3D juga boleh mencapai penjanaan bentuk berpandukan teks.

Dengan menggunakan StyleGAN-NADA, alat AI lain daripada NVIDIA, pembangun boleh menggunakan gesaan teks untuk menambah gaya tertentu pada imej.

Sebagai contoh, anda boleh menukar kereta yang diberikan kepada kereta atau teksi yang terbakar

Tukar rumah biasa Transform menjadi rumah bata, rumah terbakar, atau rumah berhantu.

Atau gunakan ciri-ciri cetakan harimau dan cetakan panda pada mana-mana haiwan...

Ia seperti "Animal Crossing" Simpsons...

NVIDIA memperkenalkan bahawa apabila dilatih pada GPU NVIDIA tunggal, GET3D boleh menjana kira-kira 20 objek sesaat.

Di sini, lebih besar dan lebih pelbagai set data latihan yang ia pelajari, lebih pelbagai dan terperinci outputnya.

Nvidia berkata bahawa pasukan penyelidik menggunakan GPU A100 untuk melatih model pada kira-kira 1 juta imej dalam masa 2 hari sahaja.

Kaedah dan proses penyelidikan

Rangka kerja GET3D, fungsi utamanya adalah untuk mensintesis bentuk tiga dimensi bertekstur.

Proses penjanaan terbahagi kepada dua bahagian: bahagian pertama ialah cawangan geometri, yang boleh mengeluarkan jerat permukaan mana-mana topologi. Bahagian lain ialah cawangan tekstur, yang menghasilkan medan tekstur dari mana titik permukaan boleh ditanya.

Semasa latihan, rasterizer boleh dibezakan Ia digunakan untuk cekap menjadikan jaringan tekstur yang terhasil menjadi imej resolusi tinggi dua dimensi. Keseluruhan proses boleh dipisahkan, membenarkan latihan lawan daripada imej dengan menyebarkan kecerunan diskriminasi 2D.

Selepas itu, kecerunan disebarkan daripada diskriminator 2D ke dua cawangan penjana.

Para penyelidik menjalankan eksperimen yang meluas untuk menilai model. Mereka mula-mula membandingkan kualiti jejaring bertekstur 3D yang dijana oleh GET3D dengan yang sedia ada yang dijana menggunakan set data ShapeNet dan Turbosquid.

Seterusnya, penyelidik mengoptimumkan model dalam kajian seterusnya berdasarkan hasil perbandingan dan menjalankan lebih banyak eksperimen.

Model GET3D boleh mencapai pemisahan fasa dalam geometri dan tekstur.

Rajah menunjukkan bentuk yang dijana oleh kod tersembunyi geometri yang sama dalam setiap baris, sambil menukar kod tekstur.

Menunjukkan dalam setiap lajur bentuk yang dijana oleh kod penyembunyian tekstur yang sama semasa menukar kod geometri.

Selain itu, penyelidik memasukkan kod tersembunyi geometri dari kiri ke kanan dalam bentuk yang dijana oleh kod penyembunyian tekstur yang sama dalam setiap baris.

dan bentuk yang dijana oleh kod penyembunyian geometri yang sama semasa memasukkan kod tekstur dari atas ke bawah. Keputusan menunjukkan bahawa setiap interpolasi adalah bermakna kepada model yang dihasilkan.

Dalam subgraf setiap model, GET3D dapat menjana peralihan lancar antara bentuk berbeza dalam semua kategori.

Dalam setiap baris, ganggu kod tersembunyi secara setempat dengan menambahkan bunyi kecil. Dengan cara ini, GET3D dapat menghasilkan bentuk yang kelihatan serupa tetapi sedikit berbeza secara tempatan.

Penyelidik ambil perhatian bahawa versi masa depan GET3D boleh menggunakan teknologi anggaran pose kamera untuk membolehkan pembangun melatih model untuk dunia sebenar data dan bukannya set data sintetik.

Pada masa hadapan, melalui penambahbaikan, pembangun boleh melatih GET3D pada pelbagai bentuk 3D sekaligus, bukannya melatihnya pada satu kategori objek pada satu masa.

Sanja Fidler, naib presiden penyelidikan kecerdasan buatan di NVIDIA, berkata,

GET3D membawa kita jauh daripada artificial kandungan 3D yang dipacu kecerdasan Pempopularan penciptaan adalah satu langkah lebih dekat. Keupayaannya untuk menjana bentuk 3D bertekstur dengan cepat boleh menjadi pengubah permainan untuk pembangun, membantu mereka mengisi dunia maya dengan cepat dengan pelbagai objek menarik.

Pengenalan kepada pengarang

Pengarang pertama kertas kerja, Jun Gao, ialah pelajar kedoktoran dalam kumpulan pembelajaran mesin Universiti Toronto, dan penyelianya ialah Sanja Fidler.

Selain kelayakan akademiknya yang cemerlang, beliau juga merupakan seorang saintis penyelidik di Makmal Kepintaran Buatan Toronto NVIDIA.

Penyelidikannya tertumpu terutamanya pada pembelajaran mendalam (DL), dengan matlamat pembelajaran perwakilan geometri berstruktur. Pada masa yang sama, penyelidikannya juga mendapat pandangan daripada persepsi manusia terhadap imej dan video 2D dan 3D.

Pelajar cemerlang yang sebegitu berasal dari Universiti Peking. Beliau lulus dengan ijazah sarjana muda pada 2018. Semasa di Universiti Peking, beliau bekerja bersama Profesor Wang Liwei.

Selepas tamat pengajian, beliau turut menjalani latihan di Universiti Stanford, MSRA dan NVIDIA.

Mentor Jun Gao juga merupakan peneraju dalam industri.

Fidler ialah profesor bersekutu di Universiti Toronto dan ahli fakulti di Vector Institute, di mana beliau juga merupakan ahli pengasas bersama.

Selain mengajar, beliau juga merupakan Naib Presiden Penyelidikan Kepintaran Buatan di NVIDIA, mengetuai makmal penyelidikan di Toronto.

Sebelum datang ke Toronto, beliau adalah Penolong Profesor Penyelidik di Institut Teknologi Toyota di Chicago. Institut ini terletak di kampus Universiti Chicago dan dianggap sebagai institusi akademik.

Bidang penyelidikan Fidler memfokuskan pada penglihatan komputer (CV) dan pembelajaran mesin (ML), memfokuskan pada persilangan CV dan grafik, penglihatan tiga dimensi dan Pembinaan semula dan sintesis 3D, serta kaedah interaktif untuk anotasi imej, dsb.

Atas ialah kandungan terperinci Satu GPU, 20 model sesaat! Mainan baharu NVIDIA menggunakan GET3D untuk mencipta alam semesta. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!