元宇宙遠距會議中實現2D與3D無縫過渡的微軟專利分享

（映維網Nweon 2023年12月26日）遠距會議的發展正在推動元宇宙的普及化。然而，目前線上會議應用程式在使用元環境時面臨一個主要問題，即並非所有參與者都使用相同類型的設備。例如，有些使用者使用個人電腦進行操作，而其他使用者則使用虛擬實境頭戴裝置

桌面裝置使用者有時處於不利地位，因為他們無法導航或與虛擬環境中的所有使用者互動。當電腦提供3D環境的2D視圖時，電腦在如何接收使用者導航或與3D環境互動的輸入手勢方面受到限制。

從目前來看，雖然技術發展迅速，但是VR頭顯用戶和PC用戶的體驗並不相同。此外，無論是從VR頭戴裝置過渡到桌面設備，還是反過來，現有的系統並不能在聚會或公司會議等活動中實現無縫切換

在微軟的專利申請中，名為「2D和3D過渡在用戶參與通訊會話中的渲染」的內容詳細介紹了一種相關的無縫過渡方法

圖1A和1B說明了當使用者參與通訊會話時，使用者介面安排從使用者的二維影像的顯示到使用者的三維表示的呈現的轉換。

所述通訊會話可由若干台電腦11組成的系統100來管理，每台電腦11對應於若干用戶10。在本例中，第三用戶10C的呈現將經歷從2D模式到3D模式的轉換。

為了開始轉換，系統可以接收一個輸入，以引起特定使用者的二維影像呈現的顯示轉換。在這個例子中，輸入標識第三個使用者10C。此輸入同時可以提供許可，允許系統存取為第三個使用者10C定義位置和方向的3D模型。這些位置和方向可以包括在本文中稱為虛擬環境200的3D環境200中表示的向量和座標

作為對接收輸入的回應，系統100的一台或多台電腦可以對使用者介面101進行修改，以刪除如圖1A所示的使用者10C的影像151C的渲染，並新增如圖1B所示的使用者10C的3D表示251C的渲染。根據在3D模型中定義的座標和/或向量，可以在3D環境中定位和定向使用者10C的3D表示251C的呈現。

在本例中，刪除了使用者10C的2D影像的渲染，然後可以用其他渲染取代。例如，將圖1A所示的第三用戶10C的2D影像渲染在UI中替換為圖1B所示的另一用戶第四用戶10D的另一2D影像。

這種轉換允許使用者以不同的方式與計算設備進行互動。例如，在這個例子中，如果使用者10C希望從通訊會話中的即時視訊串流切換到另一種操作模式，該模式允許使用者與3D環境中的其他使用者進行交互，系統會將使用者從一種模式轉換到另一種模式，從而使其能夠與一般內容、文件、電子表格和投影片互動的模式切換到與3D物件互動的模式

通訊會話期間的這種轉換允許所選使用者在每個環境中使用適合不同內容類型的編輯工具。例如，如果視訊串流中的一個人希望離開使用2D圖像向用戶顯示的2D模式，並進入3D環境向其他用戶展示如何在特定位置移動對像或塑造特定的3D對象，則一旦用戶能夠在通信會話中進行轉換，他們就可以更容易做到這一點。

使用者可以使用桌上型PC完成這種轉換，而無需使用任何類型的XR頭顯。使用桌面的這種轉換使用戶能夠使用桌上型電腦進入與3D計算環境互動的3D模式，這可能更適合於編輯或查看特定類型的內容。

微軟指出，其中一個技術優勢是，系統可以允許使用者在通訊會話的3D模式和2D模式之間切換，而不管他們與什麼硬體進行互動。

發明所述技術同時適用於頭戴裝置。在這樣的實施例中，使用者在將交互模型從3D計算環境轉換到2D計算環境時，可以保持僅使用一個計算設備，例如頭顯。所以，使用者可以在3D計算環境中啟動，並透過3D表示251C的呈現來表示，例如圖1B所示的表示。

然後，回應一個或多個輸入，例如使用者開始編輯具有特定檔案類型的內容，或基於指示執行UI轉換意圖的輸入，系統可以轉換UI以刪除3D表示251C的呈現，如圖1B所示，並產生使用者的2D影像151C的呈現，例如圖1A所示的表示。這允許使用者在不實際使用使用平面螢幕顯示和鍵盤的桌面裝置的情況下過渡到2D環境。

圖2A和2B說明了當使用者參與通訊會話時，使用者介面從具有使用者的二維影像的顯示到使用者的三維表示的呈現的轉換的另一個範例。

在這個例子中，使用者介面201是基於3D模型的3D環境的呈現。使用者介面201以第一用戶10A的表示251A的3D呈現和第二用戶10B的表示251B的3D呈現開始。每個表示的3D渲染都有一個位置和一個方向，由儲存在3D模型中的虛擬物件屬性決定

3D環境同時包含虛擬物件275，其形式為安裝在虛擬環境牆壁的虛擬平面電視。虛擬物件275具有顯示虛擬使用者介面的顯示表面，虛擬使用者介面顯示第三個使用者10C的2D渲染151C和第四個使用者10D的2D渲染151D。

圖3A和3B說明了第三用戶轉換的另一個面向。在本例中，第三用戶10C的呈現經歷了從2D模式到3D模式的轉換。

如圖3A所示，使用者介面301首先顯示傑思敏、勞倫斯和麥克的二維影像，分別顯示為影像151A、151B和151D的效果圖。使用者介面同時包括具有其他使用者的兩個3D表示251A和251B的3D環境200的呈現。

為了回應本文所述的輸入數據，系統執行轉換。在第三用戶的過渡中，第三用戶10C的第三位電腦11C從圖3A所示的用戶介面過渡到圖3B所示的用戶介面。

經過轉換後，夏洛特的電腦11C顯示了修改後的使用者介面301，如圖3B所示。系統會維護每個使用者的狀態，就像圖3A中所展示的兩個使用者251A和251B的三維表示一樣，同時也會維護圖3B中所展示的251A和251B的三維表示

同樣如圖3B所示，修改後的使用者介面301包含虛擬物件275，虛擬物件275在本例中為虛擬顯示設備，其顯示最初以2D影像顯示的其他使用者的2D渲染，例如圖3A中的傑思敏和勞倫斯。

這個修改後的301使用者介面現在顯示夏洛特的視角，就好像她從2D環境傳送到3D環境。與其他例子類似，在這種傳送中，系統可以根據一個或多個因素來確定夏洛特Avatar的位置和方向。

在這樣一個例子中，夏洛特可能正在操作一個設備，例如PC。然後，回應本文所述的一個或多個輸入，系統可以在繼續使用桌面PC的同時從圖3A的使用者介面過渡到圖3B的使用者介面。即使不使用傳統上用於查看3D渲染的頭顯，都可以實現這個範例的過渡。

在另一個例子中，過渡可以涉及夏洛特從圖3B的使用者介面開始，然後過渡到圖3A的使用者介面的過程。在這個例子中，夏洛特可能正在操作一個單獨的設備，例如頭戴式顯示器。她首先瀏覽圖3B中所展示的3D環境，然後透過對本文所述的一個或多個輸入做出反應，系統可以從圖3B的使用者介面過渡到圖3A的使用者介面，並繼續使用頭戴式設備。即使不使用傳統上用於查看2D影像的計算機，這個範例的轉換也是可能的

圖4A說明了UI轉換的其他特性。當接收用於致使UI從使用者10C的2D影像的呈現轉換到使用者10C的3D表示的呈現的輸入時，系統可以確定使用者10C的3D表示的位置和方向。

例如，如果一個模型在虛擬環境200中開始時只有兩個代表使用者的虛擬物件351A和351B，那麼系統可以確定新增加的代表使用者的虛擬物件351C的位置和方向。在這個例子中，當輸入顯示特定用戶，例如第三個用戶10C時，系統可以根據虛擬環境200中其他用戶的位置和/或共享內容的位置，確定表示第三個用戶10C的虛擬物件351C的位置和方向

在一個說明性範例中，如果系統確定用於表示第三個使用者10C的虛擬物件351C將會加入虛擬環境200中，則系統可以以一種方式定位虛擬物件351C，使得虛擬物件351C呈現出用戶的Avatar正在查看與用戶10C分享的內容。

在另一個例子中，如果系統確定將用於代表第三個用戶10C的虛擬物件351C添加到虛擬環境200中，系統可以以一種方式定位虛擬物件351C，使其看起來像是用戶的Avatar正在與用戶10C交談的Avatar對話

在一個實施例中，每個虛擬物件351的放置可以基於團隊成員、使用者群組和/或由單一使用者或使用者群組建立的策略的分佈。例如，如果一個人是公司團隊的一部分，當其中一個人在轉換使用者介面的輸入中識別時，他們對應的Avatar將被定位在其他團隊成員的閾值距離內。

圖4B顯示系統的兩種操作模式，以及每種操作模式如何改變參與通訊會話的個體的權限。在圖4B的上半部的第一種操作模式中，當3D模型中不包含使用者的表示時，權限可以允許系統使用影像檔案來顯示使用者的2D影像。

在這種情況下，3D模型資料處於第一狀態320A，其中所選用戶在3D環境200中沒有表示該用戶的虛擬物件。當3D模型處於此狀態時，所選用戶在3D環境中沒有表示該用戶的虛擬對象，與該用戶關聯的權限資料315配置為允許系統和其他用戶存取該用戶的圖像資料310。這意味著所述系統和每個遠端使用者的用戶端可以使用所述圖像資料310產生該使用者的呈現，或者所述系統可以編輯所述圖像資料310。

當系統偵測到3D模型資料處於第二狀態時，例如，模型資料320B中包含代表所選使用者的虛擬物件351C，系統會修改權限以限制該特定使用者對影像資料的使用。根據圖中所示，系統會修改權限資料315，以限制系統讀取影像資料310來顯示該特定使用者的2D影像。在這種操作模式下，權限會被配置為限制所有使用者對影像資料的訪問​​，從而阻止所有客戶端對2D影像檔案的存取或顯示

圖5A和圖5B顯示了配置為在相對於共享內容的3D環境200中定位使用者的表示的系統的特徵。

在圖5A中展示了用於第一用戶351A和第二用戶351B的Avatar定向，用於在3D環境中查看共享內容的場景。他們共享的內容可以顯示在虛擬物件上，例如虛擬顯示器。當系統偵測到有一定數量的使用者正在查看共享內容時，系統會為擁有Avatar的第三個使用者產生進入3D環境的方向

特徵的一個範例如圖5B所示。在本例中，將第三用戶351C的Avatar加入虛擬環境。第三用戶351C的Avatar指向共享內容，以回應系統偵測到其他用戶在其視場內具有共享內容。系統同時可以確定每個人視野的幾何形狀，並確定第三個使用者的Avatar的位置，使得第三個使用者的Avatar不會阻擋其他使用者的視野。

圖6A和圖6B示出了配置為相對於其他使用者在3D環境200中定位。圖6A示出了一個場景，其中第一用戶和第二用戶的Avatar定向成用戶在虛擬環境中互相看著。

在一個特定的團隊或預先確定的群體中，當系統確定有一定數量的人在相互注視時，系統可以定位進入環境的第三個用戶的Avatar，這樣Avatar的位置就可以看向其他用戶。圖6A顯示了在視場內具有至少三個具有其他組成員的使用者的若干虛擬形象。當系統決定某個閾值數量的虛擬角色在視場內擁有其他群組成員時，如圖6B所示，系統可以允許新的群組成員加入具有允許該使用者查看其他群組成員的位置和方向的虛擬環境。

相關專利：Microsoft Patent | 2d and 3d transitions for renderings of users participating in communication sessions

名為「2d and 3d transitions for renderings of users participating in communication sessions」的微軟專利申請最初在2022年5月提交，並在日前由美國專利商標局公佈。

要注意的是，一般來說，美國專利申請接收審查後，自申請日或優先權日起18個月自動公佈或根據申請人要求在申請日起18個月內進行公開。注意，專利申請公開不代表專利核准。在專利申請後，美國專利商標局需要實際審查，時間可能在1年至3年不等。

以上是元宇宙遠距會議中實現2D與3D無縫過渡的微軟專利分享的詳細內容。更多資訊請關注PHP中文網其他相關文章！