メタバース リモート会議における 2D と 3D 間のシームレスな移行を実現する Microsoft の特許共有

(Nweon 2023年12月26日) リモート会議の発展によりメタバースの普及が進んでいます。ただし、現在のオンライン会議アプリケーションは、メタ環境を使用するときに、すべての参加者が同じ種類のデバイスを使用しているわけではないという大きな問題に直面しています。たとえば、PC を使用するユーザーもいれば、仮想現実ヘッドセットを使用するユーザーもいます

デスクトップ デバイス ユーザーは、仮想環境内のすべてのユーザーに移動したり対話したりできないため、不利な立場に置かれることがあります。コンピュータは 3D 環境の 2D ビューを提供しますが、コンピュータが 3D 環境をナビゲートしたり操作したりするためにユーザーから入力ジェスチャを受け取る方法には制限があります。

現在の観点から見ると、テクノロジーは急速に発展していますが、VR ヘッドセット ユーザーと PC ユーザーの体験は同じではありません。さらに、既存のシステムでは、パーティーや社内会議などのイベント中に、VR ヘッドセットからデスクトップ デバイスへ、またはその逆にシームレスに移行することはできません。

「ユーザー参加型通信セッションにおける 2D および 3D 遷移のレンダリング」というタイトルの Microsoft の特許出願では、関連するシームレスな遷移方法が詳しく説明されています。

図1Aおよび1Bは、ユーザーが通信セッションに参加しているときの、ユーザーの二次元画像の表示からユーザーの三次元表現の表示へのユーザー・インターフェース構成の遷移を示しています。

＃＃＃＃通信セッションは、複数のコンピュータ１１から構成されるシステム１００によって管理され得、各コンピュータ１１は複数のユーザ１０に対応する。この例では、第３のユーザ１０Ｃのプレゼンテーションが２Ｄモードから３Ｄモードに変換される。

遷移を開始するために、システムは、特定のユーザーの 2D 画像プレゼンテーションの表示遷移を引き起こす入力を受け取ることができます。この例では、入力は第３のユーザ１０Ｃを識別する。この入力はまた、システムが第３のユーザ１０Ｃの位置および方向を定義する３Ｄモデルにアクセスできるようにする許可を提供することもできる。これらの位置および方向は、本明細書では仮想環境２００と呼ばれる３Ｄ環境２００内で表されるベクトルおよび座標を含むことができる。 ＃＃＃＃ 入力の受信に応答して、システム１００の１つまたは複数のコンピュータは、図１Ａに示すようにユーザ１０Ｃの画像１５１Ｃのレンダリングを削除し、ユーザ１０Ｃの画像１５１Ｃのレンダリングを追加するように、ユーザインターフェース１０１を変更することができる。図１Ｂに、ユーザ１０Ｃ ２５１Ｃの３Ｄ表現のレンダリングを示す。ユーザ１０Ｃの３Ｄ表現２５１Ｃのプレゼンテーションは、３Ｄモデル内で定義された座標および／またはベクトルに基づいて、３Ｄ環境内に位置および配向され得る。

この例では、ユーザー 10C の 2D 画像のレンダリングが削除され、別のレンダリングで置き換えることができます。例えば、図１Ａに示される第３のユーザ１０Ｃの２Ｄ画像レンダリングは、ＵＩ内で別のユーザ、図１Ｂに示される第４のユーザ１０Ｄの別の２Ｄ画像に置き換えられる。

この変換により、ユーザーはさまざまな方法でコンピューティング デバイスと対話できるようになります。たとえば、この例では、ユーザー 10C が通信セッションでのライブ ビデオ ストリーミングから、ユーザーが 3D 環境で他のユーザーと対話できるようにする別の操作モードに切り替えたい場合、システムはユーザーを 1 つのモードから切り替えます。別のモードに切り替えて、一般的なコンテンツ、ドキュメント、スプレッドシート、スライドと対話できるようにします。 3D オブジェクトと対話できるモードに切り替えます。

通信セッション中のこの移行により、選択されたユーザーは各環境のさまざまなコンテンツ タイプに適した編集ツールを使用できるようになります。たとえば、ビデオ ストリーム内の人物が、ユーザーに表示されている 2D 画像を使用している 2D モードを終了し、3D 環境に入り、特定の場所でオブジェクトを移動する方法や特定の 3D オブジェクトを形作る方法を他のユーザーに示したい場合、ユーザーが切り替えることで、より簡単にそれを行うことができます。

ユーザーは、いかなるタイプの XR ヘッドセットも使用せずに、デスクトップ PC を使用してこの変換を実行できます。デスクトップを使用したこの変換により、ユーザーはデスクトップ コンピュータを使用して 3D コンピューティング環境との対話の 3D モードに入ることができ、これは特定の種類のコンテンツの編集または表示により適している可能性があります。

Microsoft は、技術的な利点の 1 つは、ユーザーが対話しているハードウェアに関係なく、このシステムにより通信セッションの 3D モードと 2D モードを切り替えることができることであると述べました。

本発明で説明する技術は、ヘッドマウントディスプレイにも適用可能です。このような実施形態では、ユーザは、対話型モデルを３Ｄコンピューティング環境から２Ｄコンピューティング環境に移行させている間、ヘッドマウントディスプレイなどの１つのコンピューティングデバイスのみを使用し続けることができる。したがって、ユーザは、３Ｄコンピューティング環境で起動し、図１Ｂに示される表現などの３Ｄ表現２５１Ｃのプレゼンテーションによって表現されることができる。

次に、ユーザーが特定のファイル タイプでコンテンツの編集を開始するなど、1 つ以上の入力に応答して、または UI 変換を実行する意図を示す入力に基づいて、システムは UI を変換してレンダリングを削除することがあります。は、図１Ｂに示されるように、３Ｄ表現２５１Ｃの表現を生成し、図１Ａに示される表現などのユーザの２Ｄ画像１５１Ｃの表現を生成する。これにより、ユーザーは実際にデスクトップ デバイスを使用せずに、フラット スクリーン ディスプレイとキーボードを使用して 2D 環境に移行できます。

図2Aおよび2Bは、ユーザーが通信セッションに参加している間に、ユーザーの2次元画像を含むディスプレイからユーザーの3次元表現のプレゼンテーションへのユーザー・インターフェースの遷移の別の例を示しています。 。

＃＃＃＃ この例では、ユーザインターフェース２０１は、３Ｄモデルに基づく３Ｄ環境のプレゼンテーションである。ユーザインターフェース２０１は、第１のユーザ１０Ａの表現２５１Ａの３Ｄレンダリングと、第２のユーザ１０Ｂの表現２５１Ｂの３Ｄレンダリングで始まる。表現された各 3D レンダリングには、3D モデルに格納されている仮想オブジェクトのプロパティによって決定される位置と方向があります。 ＃＃＃＃ ３Ｄ環境には、仮想環境の壁に取り付けられた仮想フラットスクリーンテレビの形態の仮想オブジェクト２７５も含まれる。仮想オブジェクト２７５は、第３のユーザ１０Ｃの２Ｄレンダリング１５１Ｃおよび第４のユーザ１０Ｄの２Ｄレンダリング１５１Ｄを表示する仮想ユーザインターフェースを表示する表示面を有する。

図 3A および 3B は、サードユーザー変換の別の側面を示しています。この例では、第３ユーザ１０Ｃのプレゼンテーションが２Ｄモードから３Ｄモードに変換される。 ＃＃＃ 図３Ａに示すように、ユーザインターフェース３０１は、まず、ジェサミン、ローレンス、マイクの二次元画像を表示し、それぞれ画像１５１Ａ、１５１Ｂ、１５１Ｄのレンダリングとして表示される。ユーザインターフェースは、他のユーザの２つの３Ｄ表現２５１Ａおよび２５１Ｂを伴う３Ｄ環境２００のプレゼンテーションを同時に含む。

この記事で説明されている入力データに応じて、システムは変換を実行します。第３ユーザの遷移では、第３ユーザ１０Ｃの第３コンピュータ１１Ｃは、図３Ａに示すユーザインターフェースから図３Ｂに示すユーザインターフェースに遷移する。

＃＃＃変換後、シャーロットのコンピュータ１１Ｃは、図３Ｂに示すように、修正されたユーザインターフェース３０１を表示する。システムは、図 3A に示す 2 人のユーザー 251A および 251B の三次元表現と同様に、各ユーザーの状態を維持し、図 3B

に示す 251A および 251B の三次元表現も維持します。 ＃＃＃ また、図３Ｂに示すように、変更されたユーザインターフェース３０１は、仮想オブジェクト２７５を含む。この場合、これは、図３Ａなど、元々２Ｄ画像として表示されていた他のユーザの２Ｄレンダリングを表示する仮想表示装置である。のジェサミンとローレンス。

この変更された 301 UI では、シャーロットが 2D 環境から 3D 環境にテレポートしたかのような視点が表示されます。他の例と同様に、このテレポートでは、システムは 1 つ以上の要素に基づいてシャーロット アバターの位置と方向を決定できます。

このような例では、シャーロットは PC などのデバイスを操作している可能性があります。次に、本明細書で説明する１つまたは複数の入力に応答して、システムは、デスクトップＰＣを使用し続けながら、図３Ａのユーザインターフェイスから図３Ｂのユーザインターフェイスに移行することができる。この例の遷移は、従来 3D レンダリングの表示に使用されていたヘッドセットを使用しなくても実現できます。

＃＃＃ 別の例では、移行には、シャーロットが図３Ｂのユーザーインターフェイスから開始し、次に図３Ａのユーザーインターフェイスに移行することが含まれる場合がある。この例では、シャーロットはヘッドマウント ディスプレイなどの別のデバイスを操作している可能性があります。最初に図 3B に示す 3D 環境をナビゲートし、次にこの記事で説明する 1 つ以上の入力に反応することにより、システムは図 3B のユーザー インターフェイスから図 3A のユーザー インターフェイスに移行し、ヘッドセットの使用を継続できます。この変換例は、従来 2D 画像の表示に使用されていたコンピュータを使用しなくても可能です。

図 4A は、UI 遷移のその他の機能を示しています。 ＵＩをユーザ１０Ｃの２Ｄ画像のプレゼンテーションからユーザ１０Ｃの３Ｄ表現のプレゼンテーションに遷移させる入力を受信すると、システムは、ユーザ１０Ｃの３Ｄ表現の位置および方向を決定し得る。

例えば、モデルが仮想環境200内のユーザを表す2つの仮想オブジェクト351Aおよび351Bのみで始まる場合、システムは、ユーザを表す新しく追加された仮想オブジェクト351Cの位置および方向を決定することができる。この例では、入力が第３のユーザ１０Ｃなどの特定のユーザを示す場合、システムは、仮想環境２００内の他のユーザの位置および／または共​​有環境の位置に基づいて、第３のユーザ１０Ｃを表す仮想オブジェクト３５１Ｃの位置を決定してもよい。内容。場所と方向

＃＃＃ 例示的な一例では、第３のユーザ１０Ｃを表す仮想オブジェクト３５１Ｃが仮想環境２００に追加されるべきであるとシステムが決定した場合、システムは、仮想オブジェクト３５１Ｃがユーザのアバターの外に提示されるような方法で仮想オブジェクト３５１Ｃを配置することができる。ユーザー 10C と共有されたコンテンツを表示します。

別の例では、第3のユーザ10Cを表す仮想オブジェクト351Cが仮想環境200に追加されるとシステムが決定した場合、システムは、アバターが話しているユーザであるように見える方法で仮想オブジェクト351Cを配置してもよい。ユーザーへの 10C アバター会話

＃＃＃ 一実施形態では、各仮想オブジェクト３５１の配置は、チームメンバー、ユーザグループ、および／または個々のユーザまたはユーザグループによって確立されたポリシーの間の配分に基づくことができる。たとえば、ある人が企業チームの一員である場合、変換ユーザー インターフェイスへの入力でそのうちの 1 人が識別されると、その人の対応するアバターが他のチーム メンバーのしきい値距離内に配置されます。

図 4B は、システムの 2 つの動作モードと、各動作モードが通信セッションに参加している個人の権限をどのように変更するかを示しています。図４Ｂの上部の第１の動作モードでは、ユーザの表現が３Ｄモデルに含まれていない場合、許可により、システムが画像ファイルを使用してユーザの２Ｄ画像を表示することが許可され得る。

＃＃＃ この場合、３Ｄモデルデータは第１の状態３２０Ａにあり、選択されたユーザは３Ｄ環境２００においてユーザを表す仮想オブジェクトを有していない。 ３Ｄモデルがこの状態にあるとき、選択されたユーザは３Ｄ環境内でそのユーザを表す仮想オブジェクトを持たず、ユーザに関連付けられた許可データ３１５は、システムおよび他のユーザがユーザの画像データ３１０にアクセスできるように構成される。これは、システムおよび各リモートユーザのクライアントが画像データ３１０を使用してそのユーザの表現を生成できること、またはシステムが画像データ３１０を編集できることを意味する。

システムが、3Dモデルデータが第2の状態にあること、たとえば、モデルデータ320Bが選択されたユーザーを表す仮想オブジェクト351Cを含むことを検出すると、システムは、以下によって画像データの使用を制限する権限を変更する。特定のユーザー。図に示すように、システムは許可データ３１５を変更して、システムが画像データ３１０を読み取って特定のユーザの２Ｄ画像を表示することを制限する。この操作モードでは、画像データへのアクセスをすべてのユーザーに制限するように権限が構成されているため、すべてのクライアントが 2D 画像ファイルにアクセスしたり表示したりできなくなります。 ＃＃＃＃ 図５Ａおよび５Ｂは、共有コンテンツに関連して３Ｄ環境２００内のユーザ表現を位置特定するように構成されたシステムの特徴を示す。

＃＃＃＃第１のユーザ３５１Ａおよび第２のユーザ３５１Ｂのアバターの向きは、３Ｄ環境で共有コンテンツを閲覧するシナリオについて図５Ａに示されている。共有するコンテンツは、仮想ディスプレイなどの仮想オブジェクト上に表示できます。一定数のユーザーが共有コンテンツを閲覧していることをシステムが検出すると、システムはアバター を使用して 3 人目のユーザーに 3D 環境へのルートを生成します。

機能の例を図 5B に示します。この例では、第３のユーザ３５１Ｃのアバターが仮想環境に追加される。第３のユーザ３５１Ｃのアバターは、他のユーザがその視野内でコンテンツを共有したことをシステムが検出したことに応答して、共有コンテンツを指す。このシステムは、各人の視野の形状を決定し、第 3 のユーザーのアバターが他のユーザーの視野を妨げないように、第 3 のユーザーのアバターの位置を決定することもできます。

＃＃＃ 図６Ａおよび６Ｂは、３Ｄ環境２００内の他のユーザに対して位置決めされるように構成された構成を示す。図６Ａは、第１のユーザのアバターと第２のユーザのアバターが、仮想環境内でユーザがお互いを見合うように配向されているシナリオを示している。

特定のチームまたは所定のグループにおいて、特定の数の人がお互いを見合っているとシステムが判断した場合、システムは、その環境に入る 3 人目のユーザーのアバターを配置して、アバターの位置が他のユーザーから見えるようにすることができます。人々、ユーザー。図 6A は、少なくとも 3 人のユーザーと他のグループ メンバーが視野内にいるいくつかのアバターを示しています。図 6B に示すように、特定のしきい値数の仮想キャラクターが視野内に他のグループ メンバーを含むとシステムが判断した場合、システムは、ユーザーが参加できる位置と方向で新しいグループ メンバーが仮想環境に参加できるようにすることができます。他のグループメンバーを表示します。

関連特許: Microsoft 特許 | 通信セッションに参加しているユーザーのレンダリングのための 2D および 3D トランジション

「通信セッションに参加しているユーザーのレンダリングのための 2d および 3d トランジション」というタイトルの Microsoft 特許出願は、もともと 2022 年 5 月に提出され、最近米国特許商標庁によって公開されました。

一般的に、米国特許出願は審査後、出願日または優先日から 18 か月後に自動的に公開されるか、または要求に応じて出願日から 18 か月以内に公開されることに注意してください。申請者の。特許出願の公開は、特許が承認されることを意味するものではないことに注意してください。特許出願後、USPTO は実際の審査を必要とし、審査には 1 ～ 3 年かかる場合があります。

以上がメタバース リモート会議における 2D と 3D 間のシームレスな移行を実現する Microsoft の特許共有の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。