Perkongsian paten Microsoft untuk peralihan lancar antara 2D dan 3D dalam mesyuarat jauh Metaverse

(Nweon 26 Disember 2023) Perkembangan mesyuarat jarak jauh menggalakkan pempopularan Metaverse. Walau bagaimanapun, aplikasi mesyuarat dalam talian pada masa ini menghadapi masalah besar apabila menggunakan persekitaran meta, iaitu tidak semua peserta menggunakan jenis peranti yang sama. Contohnya, sesetengah pengguna menggunakan PC untuk beroperasi, manakala yang lain menggunakan set kepala realiti maya

Pengguna desktop kadangkala berada dalam keadaan yang kurang baik kerana mereka tidak boleh menavigasi atau berinteraksi dengan semua pengguna dalam persekitaran maya. Walaupun komputer menyediakan paparan 2D bagi persekitaran 3D, komputer terhad dalam cara ia menerima gerak isyarat input daripada pengguna untuk menavigasi atau berinteraksi dengan persekitaran 3D.

Dari sudut pandangan semasa, walaupun teknologi berkembang pesat, pengalaman pengguna set kepala VR dan pengguna PC adalah tidak sama. Tambahan pula, sama ada beralih daripada set kepala VR kepada peranti desktop atau sebaliknya, sistem sedia ada tidak membenarkan penukaran lancar semasa acara seperti mesyuarat parti atau syarikat

Kaedah peralihan lancar yang berkaitan diperincikan dalam aplikasi paten Microsoft bertajuk "Rendering peralihan 2D dan 3D dalam sesi komunikasi yang melibatkan pengguna"

Rajah 1A dan 1B menggambarkan peralihan susunan antara muka pengguna daripada paparan imej dua dimensi pengguna kepada persembahan perwakilan tiga dimensi pengguna semasa pengguna terlibat dalam sesi komunikasi.

Sesi komunikasi mungkin diuruskan oleh sistem 100 yang terdiri daripada beberapa komputer 11, setiap komputer 11 sepadan dengan kepelbagaian pengguna 10. Dalam contoh ini, pembentangan pengguna ketiga 10C akan menjalani penukaran daripada mod 2D kepada mod 3D.

Untuk memulakan peralihan, sistem boleh menerima input untuk menyebabkan peralihan paparan pemaparan imej 2D pengguna tertentu. Dalam contoh ini, input mengenal pasti pengguna ketiga 10C. Input ini juga mungkin memberikan kebenaran untuk membenarkan sistem mengakses model 3D yang mentakrifkan lokasi dan orientasi untuk pengguna ketiga 10C. Kedudukan dan arah ini mungkin termasuk vektor dan koordinat yang diwakili dalam persekitaran 3D 200, yang dirujuk di sini sebagai persekitaran maya 200

Sebagai tindak balas kepada menerima input, satu atau lebih komputer sistem 100 boleh membuat pengubahsuaian pada antara muka pengguna 101 untuk mengalih keluar pemaparan imej 151C untuk pengguna 10C seperti ditunjukkan dalam Rajah 1A dan untuk menambah pengguna seperti ditunjukkan dalam Rajah 1B 10C perwakilan 3D bagi rendering 251C. Persembahan perwakilan 3D 251C pengguna 10C mungkin diletakkan dan diorientasikan dalam persekitaran 3D berdasarkan koordinat dan/atau vektor yang ditakrifkan dalam model 3D.

Dalam contoh ini, pemaparan imej 2D pengguna 10C telah dialih keluar dan kemudiannya boleh digantikan dengan pemaparan lain. Sebagai contoh, pemaparan imej 2D pengguna ketiga 10C yang ditunjukkan dalam FIG 1A digantikan dalam UI dengan imej 2D pengguna lain, pengguna keempat 10D ditunjukkan dalam Rajah 1B.

Transformasi ini membolehkan pengguna berinteraksi dengan peranti pengkomputeran dengan cara yang berbeza. Contohnya, dalam contoh ini, jika pengguna 10C ingin menukar daripada penstriman video langsung dalam sesi komunikasi kepada mod operasi lain yang membolehkan pengguna berinteraksi dengan pengguna lain dalam persekitaran 3D, sistem akan menukar pengguna daripada satu mod Tukar ke mod lain, membenarkannya berinteraksi dengan kandungan umum, dokumen, hamparan dan slaid, kepada mod yang membolehkannya berinteraksi dengan objek 3D

Peralihan ini semasa sesi komunikasi membolehkan pengguna terpilih menggunakan alat penyuntingan yang sesuai untuk jenis kandungan yang berbeza dalam setiap persekitaran. Sebagai contoh, jika seseorang dalam aliran video ingin meninggalkan mod 2D menggunakan imej 2D yang ditunjukkan kepada pengguna dan memasuki persekitaran 3D untuk menunjukkan kepada pengguna lain cara mengalihkan objek di lokasi tertentu atau membentuk objek 3D tertentu, maka sebaik sahaja pengguna itu mampu Dengan menukar, mereka boleh melakukannya dengan lebih mudah.

Pengguna boleh melengkapkan penukaran ini menggunakan PC desktop tanpa menggunakan sebarang jenis set kepala XR. Transformasi menggunakan desktop ini membolehkan pengguna menggunakan komputer meja untuk memasuki mod interaksi 3D dengan persekitaran pengkomputeran 3D, yang mungkin lebih sesuai untuk mengedit atau melihat jenis kandungan tertentu.

Microsoft menegaskan bahawa salah satu kelebihan teknikal ialah sistem boleh membenarkan pengguna bertukar antara mod 3D dan mod 2D sesi komunikasi, tanpa mengira perkakasan yang mereka berinteraksi.

Teknologi yang disebut dalam ciptaan ini juga boleh digunakan pada paparan yang dipasang di kepala. Dalam penjelmaan sedemikian, pengguna boleh kekal menggunakan hanya satu peranti pengkomputeran, seperti paparan yang dipasang di kepala, sambil mengalihkan model interaktif daripada persekitaran pengkomputeran 3D kepada persekitaran pengkomputeran 2D. Oleh itu, pengguna boleh melancarkan dalam persekitaran pengkomputeran 3D dan diwakili oleh pembentangan perwakilan 3D 251C, seperti perwakilan yang ditunjukkan dalam Rajah 1B.

Kemudian, sebagai tindak balas kepada satu atau lebih input, seperti pengguna mula mengedit kandungan dengan jenis fail tertentu, atau berdasarkan input yang menunjukkan niat untuk melakukan transformasi UI, sistem boleh mengubah UI untuk mengalih keluar pemaparan Perwakilan 3D 251C, seperti yang ditunjukkan dalam Rajah 1B, dan perwakilan imej 2D 151C pengguna dijana, seperti perwakilan yang ditunjukkan dalam Rajah 1A. Ini membolehkan pengguna beralih kepada persekitaran 2D tanpa benar-benar menggunakan peranti desktop menggunakan paparan skrin rata dan papan kekunci.

Rajah 2A dan 2B menggambarkan satu lagi contoh peralihan antara muka pengguna daripada paparan dengan imej dua dimensi pengguna kepada persembahan perwakilan tiga dimensi pengguna apabila pengguna terlibat dalam sesi komunikasi.

Dalam contoh ini, antara muka pengguna 201 ialah pembentangan persekitaran 3D berdasarkan model 3D. Antara muka pengguna 201 bermula dengan pemaparan 3D bagi perwakilan 251A pengguna pertama 10A dan pemaparan 3D bagi perwakilan 251B pengguna kedua 10B. Setiap pemaparan 3D yang diwakili mempunyai kedudukan dan orientasi yang ditentukan oleh sifat objek maya yang disimpan dalam model 3D

Persekitaran 3D juga termasuk objek maya 275 dalam bentuk TV skrin rata maya yang dipasang pada dinding persekitaran maya. Objek maya 275 mempunyai permukaan paparan yang memaparkan antara muka pengguna maya yang memaparkan pemaparan 2D 151C pengguna ketiga 10C dan pemaparan 2D 151D bagi pengguna keempat 10D.

Rajah 3A dan 3B menggambarkan satu lagi aspek penukaran pengguna ketiga. Dalam contoh ini, pembentangan pengguna ketiga 10C mengalami penukaran daripada mod 2D kepada mod 3D.

Seperti yang ditunjukkan dalam Rajah 3A, antara muka pengguna 301 mula-mula memaparkan imej dua dimensi Jessamine, Lawrence dan Mike, yang dipaparkan sebagai pemaparan imej masing-masing 151A, 151B dan 151D. Antara muka pengguna secara serentak termasuk pembentangan persekitaran 3D 200 dengan dua perwakilan 3D 251A dan 251B pengguna lain.

Sebagai tindak balas kepada data input yang diterangkan dalam artikel ini, sistem melakukan transformasi. Dalam peralihan pengguna ketiga, komputer ketiga 10C pengguna ketiga beralih daripada antara muka pengguna yang ditunjukkan dalam Rajah 3A kepada antara muka pengguna yang ditunjukkan dalam Rajah 3B.

Selepas penukaran, komputer Charlotte 11C memaparkan antara muka pengguna yang diubah suai 301, seperti ditunjukkan dalam Rajah 3B. Sistem ini akan mengekalkan keadaan setiap pengguna, sama seperti perwakilan tiga dimensi bagi dua pengguna 251A dan 251B yang ditunjukkan dalam Rajah 3A, dan juga mengekalkan perwakilan tiga dimensi 251A dan 251B yang ditunjukkan dalam Rajah 3B

Juga ditunjukkan dalam Rajah 3B, antara muka pengguna yang diubah suai 301 termasuk objek maya 275, dalam kes ini peranti paparan maya, yang memaparkan pemaparan 2D pengguna lain yang pada mulanya dipaparkan sebagai imej 2D, seperti dalam Rajah 3A Jessamine dan Lawrence .

UI 301 yang diubah suai ini kini memaparkan perspektif Charlotte seolah-olah dia melakukan teleport daripada persekitaran 2D ke persekitaran 3D. Sama seperti contoh lain, dalam teleportasi ini sistem boleh menentukan kedudukan dan arah Charlotte Avatar berdasarkan satu atau lebih faktor.

Dalam contoh seperti ini, Charlotte mungkin mengendalikan peranti, seperti PC. Kemudian, sebagai tindak balas kepada satu atau lebih input yang diterangkan di sini, sistem boleh beralih daripada antara muka pengguna Rajah 3A kepada antara muka pengguna Rajah 3B sambil terus menggunakan PC desktop. Peralihan contoh ini boleh dicapai walaupun tanpa menggunakan set kepala yang digunakan secara tradisional untuk melihat pemaparan 3D.

Dalam contoh lain, peralihan boleh melibatkan Charlotte bermula dengan antara muka pengguna Rajah 3B dan kemudian beralih kepada antara muka pengguna Rajah 3A. Dalam contoh ini, Charlotte mungkin mengendalikan peranti yang berasingan, seperti paparan yang dipasang di kepala. Mula-mula dia menavigasi persekitaran 3D yang ditunjukkan dalam Rajah 3B, dan kemudian dengan bertindak balas kepada satu atau lebih input yang diterangkan dalam artikel ini, sistem boleh beralih daripada antara muka pengguna Rajah 3B kepada antara muka pengguna Rajah 3A dan terus menggunakan set kepala . Penukaran contoh ini boleh dilakukan walaupun tanpa menggunakan komputer yang digunakan secara tradisional untuk melihat imej 2D

Rajah 4A menggambarkan ciri lain peralihan UI. Apabila menerima input yang menyebabkan UI beralih daripada persembahan imej 2D pengguna 1OC kepada persembahan perwakilan 3D pengguna 1OC, sistem boleh menentukan kedudukan dan orientasi perwakilan 3D pengguna 1OC.

Sebagai contoh, jika model bermula dengan hanya dua objek maya 351A dan 351B yang mewakili pengguna dalam persekitaran maya 200, maka sistem boleh menentukan kedudukan dan arah objek maya 351C yang baru ditambah yang mewakili pengguna. Dalam contoh ini, apabila input menunjukkan pengguna tertentu, seperti pengguna ketiga 10C, sistem boleh menentukan lokasi objek maya 351C yang mewakili pengguna ketiga 10C berdasarkan lokasi pengguna lain dalam persekitaran maya 200 dan/atau lokasi perkongsian. kandungan. Lokasi dan arah

Dalam satu contoh ilustrasi, jika sistem menentukan bahawa objek maya 351C yang mewakili pengguna ketiga 10C akan ditambahkan ke persekitaran maya 200, sistem mungkin meletakkan objek maya 351C dengan cara yang objek maya 351C kelihatan kepada pengguna Avatar sedang melihat kandungan yang dikongsi dengan pengguna 10C.

Dalam contoh lain, jika sistem menentukan bahawa objek maya 351C yang mewakili pengguna ketiga 10C akan ditambahkan pada persekitaran maya 200, sistem mungkin meletakkan objek maya 351C dengan cara yang kelihatan seperti Avatar Avatar pengguna yang bercakap dengan pengguna 10C

Dalam satu penjelmaan, peletakan setiap objek maya 351 mungkin berdasarkan pengedaran di kalangan ahli pasukan, kumpulan pengguna dan/atau dasar yang ditetapkan oleh pengguna individu atau kumpulan pengguna. Contohnya, jika seseorang adalah sebahagian daripada pasukan korporat, apabila salah seorang daripada mereka dikenal pasti dalam input kepada antara muka pengguna transformasi, avatar yang sepadan mereka akan diletakkan dalam jarak ambang ahli pasukan yang lain.

Rajah 4B menggambarkan dua mod operasi sistem dan cara setiap mod operasi mengubah kebenaran individu yang mengambil bahagian dalam sesi komunikasi. Dalam mod operasi pertama di bahagian atas Rajah 4B, apabila perwakilan pengguna tidak disertakan dalam model 3D, kebenaran mungkin membenarkan sistem menggunakan fail imej untuk memaparkan imej 2D pengguna.

Dalam kes ini, data model 3D berada dalam keadaan pertama 320A, di mana pengguna yang dipilih tidak mempunyai objek maya yang mewakili pengguna dalam persekitaran 3D 200. Apabila model 3D berada dalam keadaan ini, pengguna yang dipilih tidak mempunyai objek maya yang mewakili pengguna tersebut dalam persekitaran 3D dan data kebenaran 315 yang dikaitkan dengan pengguna dikonfigurasikan untuk membenarkan sistem dan pengguna lain mengakses data imej pengguna 310 . Ini bermakna sistem dan setiap pelanggan pengguna jauh boleh menggunakan data imej 310 untuk menjana perwakilan pengguna tersebut, atau sistem boleh mengedit data imej 310 .

Apabila sistem mengesan bahawa data model 3D berada dalam keadaan kedua, sebagai contoh, data model 320B mengandungi objek maya 351C yang mewakili pengguna yang dipilih, sistem akan mengubah suai kebenaran untuk mengehadkan penggunaan data imej oleh pihak tertentu pengguna. Seperti yang ditunjukkan dalam rajah, sistem akan mengubah suai data kebenaran 315 untuk menyekat sistem daripada membaca data imej 310 untuk memaparkan imej 2D pengguna tertentu. Dalam mod operasi ini, kebenaran dikonfigurasikan untuk menyekat akses kepada data imej kepada semua pengguna, dengan itu menghalang semua pelanggan daripada mengakses atau memaparkan fail imej 2D

Rajah 5A dan 5B menggambarkan ciri sistem yang dikonfigurasikan untuk mencari perwakilan pengguna dalam persekitaran 3D 200 berbanding kandungan yang dikongsi.

Orientasi avatar untuk pengguna pertama 351A dan pengguna kedua 351B ditunjukkan dalam Rajah 5A untuk senario melihat kandungan kongsi dalam persekitaran 3D. Kandungan yang mereka kongsi boleh dipaparkan pada objek maya, seperti paparan maya. Apabila sistem mengesan bahawa sebilangan pengguna sedang melihat kandungan yang dikongsi, sistem akan menjana arah ke dalam persekitaran 3D untuk pengguna ketiga dengan Avatar

ditunjukkan dalam Rajah 5B. Dalam contoh ini, Avatar pengguna ketiga 351C ditambahkan pada persekitaran maya. Avatar pengguna ketiga 351C menghala ke kandungan yang dikongsi sebagai tindak balas kepada sistem yang mengesan bahawa pengguna lain telah berkongsi kandungan dalam bidang paparannya. Sistem ini juga boleh menentukan geometri medan pandangan setiap orang dan menentukan kedudukan Avatar pengguna ketiga supaya Avatar pengguna ketiga tidak menyekat medan pandangan pengguna lain.

Rajah 6A dan 6B menggambarkan konfigurasi yang dikonfigurasikan untuk diletakkan secara relatif kepada pengguna lain dalam persekitaran 3D 200. Rajah 6A menggambarkan senario di mana Avatar pengguna pertama dan pengguna kedua berorientasikan supaya pengguna saling memandang dalam persekitaran maya.

Dalam pasukan tertentu atau kumpulan yang telah ditetapkan, apabila sistem menentukan bahawa sebilangan orang sedang memandang antara satu sama lain, sistem boleh meletakkan Avatar pengguna ketiga memasuki persekitaran supaya kedudukan Avatar memandang ke arah pengguna lain. Rajah 6A menunjukkan beberapa avatar dengan sekurang-kurangnya tiga pengguna dengan ahli kumpulan lain dalam medan paparan. Apabila sistem menentukan bahawa bilangan ambang tertentu aksara maya mempunyai ahli kumpulan lain dalam medan pandangan, seperti yang ditunjukkan dalam Rajah 6B, sistem boleh membenarkan ahli kumpulan baharu menyertai persekitaran maya dengan lokasi dan orientasi yang membolehkan pengguna untuk melihat ahli kumpulan lain.

Paten berkaitan: Paten Microsoft |

Aplikasi paten Microsoft bertajuk "Peralihan 2d dan 3d untuk pemaparan pengguna yang mengambil bahagian dalam sesi komunikasi" pada asalnya diserahkan pada Mei 2022 dan baru-baru ini diterbitkan oleh Pejabat Paten dan Tanda Dagangan AS.

Perlu diambil perhatian bahawa, secara amnya, selepas permohonan paten A.S. disemak, ia akan diterbitkan secara automatik 18 bulan dari tarikh pemfailan atau tarikh keutamaan, atau ia akan diterbitkan dalam tempoh 18 bulan dari tarikh pemfailan atas permintaan pihak pemohon. Ambil perhatian bahawa penerbitan permohonan paten tidak bermakna paten itu diluluskan. Selepas permohonan paten difailkan, USPTO memerlukan semakan sebenar, yang mungkin mengambil masa antara 1 hingga 3 tahun.

Atas ialah kandungan terperinci Perkongsian paten Microsoft untuk peralihan lancar antara 2D dan 3D dalam mesyuarat jauh Metaverse. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!