Metaverse 원격 회의에서 2D와 3D 간의 원활한 전환을 위한 Microsoft 특허 공유

(뉴원 2023년 12월 26일) 원격회의의 발전은 메타버스의 대중화를 촉진하고 있습니다. 그러나 현재 온라인 회의 애플리케이션은 메타 환경을 사용할 때 모든 참가자가 동일한 유형의 장치를 사용하지 않는다는 큰 문제에 직면합니다. 예를 들어 일부 사용자는 PC를 사용하여 작동하고 다른 사용자는 가상 현실 헤드셋을 사용합니다

데스크톱 사용자는 가상 환경에서 모든 사용자를 탐색하거나 상호 작용할 수 없기 때문에 때때로 불리한 상황에 처합니다. 컴퓨터는 3D 환경의 2D 보기를 제공하지만 3D 환경을 탐색하거나 상호 작용하기 위해 사용자로부터 입력 제스처를 수신할 수 있는 방법에는 제한이 있습니다.

현재 관점에서 보면 기술이 빠르게 발전하고 있지만 VR 헤드셋 사용자와 PC 사용자의 경험은 동일하지 않습니다. 게다가 VR 헤드셋에서 데스크톱 장치로 또는 그 반대로 전환하든 기존 시스템에서는 파티나 회사 회의와 같은 이벤트 중에 원활한 전환이 불가능합니다

관련 원활한 전환 방법은 "사용자 참여 통신 세션에서 2D 및 3D 전환 렌더링"이라는 제목의 Microsoft 특허 출원에 자세히 설명되어 있습니다.

그림 1A 및 1B는 사용자가 통신 세션에 참여할 때 사용자 인터페이스 배열이 사용자의 2차원 이미지 표시에서 사용자의 3차원 표현 표시로 전환되는 것을 보여줍니다.

통신 세션은 여러 대의 컴퓨터(11)로 구성된 시스템(100)에 의해 관리될 수 있으며, 각 컴퓨터(11)는 사용자 수(10)에 해당합니다. 이 예에서, 제3 사용자(10C)의 프리젠테이션은 2D 모드에서 3D 모드로 변환된다.

전환을 시작하기 위해 시스템은 특정 사용자의 2D 이미지 렌더링의 디스플레이 전환을 유발하는 입력을 받을 수 있습니다. 이 예에서 입력은 세 번째 사용자(10C)를 식별합니다. 이 입력은 또한 시스템이 제3 사용자(10C)에 대한 위치 및 방향을 정의하는 3D 모델에 액세스할 수 있도록 허용하는 권한을 제공할 수 있습니다. 이러한 위치 및 방향은 본 명세서에서 가상 환경(200)으로 지칭되는 3D 환경(200)에 표현된 벡터 및 좌표를 포함할 수 있습니다.

입력 수신에 응답하여 시스템(100)의 하나 이상의 컴퓨터는 사용자 인터페이스(101)를 수정하여 도 1A에 표시된 것처럼 사용자(10C)에 대한 이미지(151C)의 렌더링을 제거하고 도 1B에 표시된 것처럼 사용자를 추가할 수 있습니다. 10C는 251C의 렌더링입니다. 사용자(10C)의 3D 표현(251C)의 프리젠테이션은 3D 모델에서 정의된 좌표 및/또는 벡터에 기초하여 3D 환경에서 위치 지정되고 방향이 지정될 수 있습니다.

이 예에서는 사용자 10C의 2D 이미지 렌더링이 제거되었으며 다른 렌더링으로 대체될 수 있습니다. 예를 들어, 도 1a에 도시된 제3 사용자(10C)의 2D 이미지 렌더링은 UI에서 다른 사용자, 즉 도 1b에 도시된 제4 사용자(10D)의 2D 이미지로 대체된다.

이러한 변화를 통해 사용자는 다양한 방식으로 컴퓨팅 장치와 상호 작용할 수 있습니다. 예를 들어, 이 예에서 사용자(10C)가 통신 세션의 라이브 비디오 스트리밍에서 사용자가 3D 환경에서 다른 사용자와 상호 작용할 수 있도록 하는 다른 작동 모드로 전환하려는 경우, 시스템은 사용자를 한 모드에서 다음 모드로 전환합니다. 일반 콘텐츠, 문서, 스프레드시트 및 슬라이드와 상호 작용할 수 있는 또 다른 모드에서 3D 개체와 상호 작용할 수 있는 모드까지

커뮤니케이션 세션 중 이러한 전환을 통해 선택된 사용자는 각 환경의 다양한 콘텐츠 유형에 적합한 편집 도구를 사용할 수 있습니다. 예를 들어, 비디오 스트림에 있는 사람이 사용자에게 표시되는 2D 이미지를 사용하여 2D 모드를 종료하고 3D 환경으로 들어가 특정 위치에서 개체를 이동하거나 특정 3D 개체를 형성하는 방법을 다른 사용자에게 보여주고 싶다면 사용자는 일단 스위치를 만들면 더 쉽게 그렇게 할 수 있습니다.

사용자는 어떤 유형의 XR 헤드셋도 사용하지 않고 데스크탑 PC를 사용하여 이 변환을 완료할 수 있습니다. 데스크톱을 사용한 이러한 변환을 통해 사용자는 데스크톱 컴퓨터를 사용하여 3D 컴퓨팅 환경과 상호 작용하는 3D 모드로 들어갈 수 있으며, 이는 특정 유형의 콘텐츠를 편집하거나 보는 데 더 적합할 수 있습니다.

Microsoft는 기술적인 장점 중 하나가 시스템을 통해 사용자가 상호 작용하는 하드웨어에 관계없이 통신 세션의 3D 모드와 2D 모드 간에 전환할 수 있다는 점을 지적했습니다.

본 발명에서 언급된 기술은 헤드 마운트 디스플레이에도 적용 가능합니다. 이러한 실시예에서, 사용자는 대화형 모델을 3D 컴퓨팅 환경에서 2D 컴퓨팅 환경으로 전환하는 동안 머리 장착형 디스플레이와 같은 하나의 컴퓨팅 장치만 계속 사용할 수 있습니다. 따라서, 사용자는 3D 컴퓨팅 환경에서 시작할 수 있고 도 1B에 도시된 표현과 같은 3D 표현(251C)의 표현으로 표현될 수 있습니다.

그런 다음 사용자가 특정 파일 형식의 콘텐츠 편집을 시작하거나 UI 변환을 수행하려는 의도를 나타내는 입력을 기반으로 하는 등 하나 이상의 입력에 대한 응답으로 시스템은 UI를 변환하여 해당 파일의 렌더링을 제거할 수 있습니다. 도 1B에 도시된 바와 같은 3D 표현(251C) 및 도 1A에 도시된 표현과 같은 사용자의 2D 이미지(151C) 표현이 생성된다. 이를 통해 사용자는 실제로 평면 화면 디스플레이와 키보드를 사용하는 데스크톱 장치를 사용하지 않고도 2D 환경으로 전환할 수 있습니다.

그림 2A 및 2B는 사용자가 통신 세션에 참여할 때 사용자 인터페이스가 사용자의 2차원 이미지가 있는 디스플레이에서 사용자의 3차원 표현 표시로 전환되는 또 다른 예를 보여줍니다.

이 예에서 사용자 인터페이스(201)는 3D 모델을 기반으로 한 3D 환경의 표현입니다. 사용자 인터페이스(201)는 제1 사용자(10A)의 표현(251A)의 3D 렌더링과 제2 사용자(10B)의 표현(251B)의 3D 렌더링으로 시작한다. 표현된 각 3D 렌더링에는 3D 모델에 저장된 가상 개체 속성에 따라 위치와 방향이 결정됩니다

3D 환경에는 가상 환경의 벽에 장착된 가상 평면 TV 형태의 가상 객체(275)도 포함됩니다. 가상 객체(275)는 제3 사용자(10C)의 2D 렌더링(151C) 및 제4 사용자(10D)의 2D 렌더링(151D)을 디스플레이하는 가상 사용자 인터페이스를 디스플레이하는 디스플레이 표면을 갖는다.

그림 3A와 3B는 제3자 전환의 또 다른 측면을 보여줍니다. 이 경우, 제3 사용자(10C)의 프리젠테이션은 2D 모드에서 3D 모드로 전환된다.

도 3A에 도시된 바와 같이, 사용자 인터페이스(301)는 먼저 각각 이미지(151A, 151B 및 151D)의 렌더링으로 표시되는 Jessamine, Lawrence 및 Mike의 2차원 이미지를 표시합니다. 사용자 인터페이스는 다른 사용자의 2개의 3D 표현(251A 및 251B)과 함께 3D 환경(200)의 프리젠테이션을 동시에 포함합니다.

이 문서에 설명된 입력 데이터에 대한 응답으로 시스템은 변환을 수행합니다. 제3 사용자의 전환에서, 제3 사용자(10C)의 제3 컴퓨터(11C)는 도 3a에 도시된 사용자 인터페이스에서 도 3b에 도시된 사용자 인터페이스로 전환된다.

변환 후, Charlotte의 컴퓨터(11C)는 그림 3B에 표시된 것처럼 수정된 사용자 인터페이스(301)를 표시합니다. 시스템은 그림 3A에 표시된 두 사용자 251A 및 251B의 3차원 표현과 마찬가지로 각 사용자의 상태를 유지하며 그림 3B에 표시된 251A 및 251B의 3차원 표현도 유지합니다

또한 그림 3B에 도시된 수정된 사용자 인터페이스(301)는 가상 개체(275), 이 경우 가상 디스플레이 장치를 포함하며, 이는 그림 3A에서와 같이 초기에 2D 이미지로 표시된 다른 사용자의 2D 렌더링을 표시합니다. Jessamine and Lawrence .

이 수정된 301 UI는 이제 마치 2D 환경에서 3D 환경으로 순간이동한 것처럼 Charlotte의 관점을 표시합니다. 다른 예와 마찬가지로 이 순간이동에서 시스템은 하나 이상의 요인을 기반으로 샬롯 아바타의 위치와 방향을 결정할 수 있습니다.

이런 예에서 Charlotte는 PC와 같은 장치를 작동하고 있을 수 있습니다. 그런 다음, 여기에 설명된 하나 이상의 입력에 응답하여 시스템은 데스크탑 PC를 계속 사용하면서 도 3A의 사용자 인터페이스에서 도 3B의 사용자 인터페이스로 전환할 수 있습니다. 이 예제 전환은 전통적으로 3D 렌더링을 보는 데 사용되는 헤드셋을 사용하지 않고도 달성할 수 있습니다.

또 다른 예에서는 Charlotte가 그림 3B의 사용자 인터페이스로 시작한 다음 그림 3A의 사용자 인터페이스로 전환하는 과정이 포함될 수 있습니다. 이 예에서 Charlotte는 헤드 마운트 디스플레이와 같은 별도의 장치를 작동하고 있을 수 있습니다. 그녀는 먼저 그림 3B에 표시된 3D 환경을 탐색한 다음 이 기사에 설명된 하나 이상의 입력에 반응하여 시스템이 그림 3B의 사용자 인터페이스에서 그림 3A의 사용자 인터페이스로 전환하고 헤드셋을 계속 사용할 수 있습니다. 이 예제 변환은 전통적으로 2D 이미지를 보는 데 사용되는 컴퓨터를 사용하지 않고도 가능합니다

그림 4A는 UI 전환의 다른 기능을 보여줍니다. UI가 사용자(1OC)의 2D 이미지의 프리젠테이션에서 사용자(1OC)의 3D 표현의 프리젠테이션으로 전환하게 하는 입력을 수신할 때, 시스템은 사용자(1OC)의 3D 표현의 위치와 방향을 결정할 수 있습니다.

예를 들어, 가상 환경(200)에서 사용자를 나타내는 두 개의 가상 객체(351A, 351B)만으로 모델이 시작된다면, 시스템은 사용자를 나타내는 새로 추가된 가상 객체(351C)의 위치와 방향을 결정할 수 있습니다. 이 예에서, 입력이 제3 사용자(10C)와 같은 특정 사용자를 나타낼 때, 시스템은 가상 환경(200) 내의 다른 사용자의 위치 및/또는 공유 위치에 기초하여 제3 사용자(10C)를 나타내는 가상 객체(351C)의 위치를 ​​결정할 수 있습니다. 내용. 위치 및 방향

한 예시에서, 시스템이 제3 사용자(10C)를 나타내는 가상 객체(351C)가 가상 환경(200)에 추가되어야 한다고 결정하면, 시스템은 가상 객체(351C)가 사용자에게 나타나는 방식으로 가상 객체(351C)를 배치할 수 있습니다. 아바타가 보고 있는 것 사용자 10C와 공유된 콘텐츠.

또 다른 예에서, 시스템이 세 번째 사용자(10C)를 나타내는 가상 객체(351C)가 가상 환경(200)에 추가되어야 한다고 결정하면, 시스템은 사용자와 대화하는 사용자의 아바타인 것처럼 보이도록 가상 객체(351C)를 배치할 수 있습니다. 10도

일 실시예에서, 각 가상 객체(351)의 배치는 팀 구성원, 사용자 그룹, 및/또는 개별 사용자 또는 사용자 그룹에 의해 설정된 정책 간의 배포에 기초할 수 있습니다. 예를 들어, 개인이 회사 팀의 일원인 경우 변환 사용자 인터페이스에 대한 입력에서 그 중 한 명이 식별되면 해당 아바타가 다른 팀 구성원의 임계 거리 내에 배치됩니다.

그림 4B는 시스템의 두 가지 작동 모드와 각 작동 모드가 통신 세션에 참여하는 개인의 권한을 어떻게 변경하는지 보여줍니다. 도 4B 상단의 첫 번째 동작 모드에서, 사용자의 표현이 3D 모델에 포함되지 않은 경우 권한을 통해 시스템은 이미지 파일을 사용하여 사용자의 2D 이미지를 표시할 수 있습니다.

이 경우, 3D 모델 데이터는 첫 번째 상태(320A)에 있으며, 선택된 사용자는 3D 환경(200)에서 사용자를 나타내는 가상 객체가 없습니다. 3D 모델이 이 상태에 있는 경우, 선택된 사용자는 3D 환경에서 해당 사용자를 나타내는 가상 객체가 없으며 사용자와 관련된 권한 데이터(315)는 시스템 및 다른 사용자가 사용자의 이미지 데이터(310)에 접근할 수 있도록 구성됩니다. 이는 시스템과 각 원격 사용자의 클라이언트가 이미지 데이터(310)를 사용하여 해당 사용자의 프리젠테이션을 생성할 수 있거나 시스템이 이미지 데이터(310)를 편집할 수 있음을 의미합니다.

시스템이 3D 모델 데이터가 두 번째 상태에 있음을 감지하면, 예를 들어 모델 데이터(320B)에 선택된 사용자를 나타내는 가상 객체(351C)가 포함되어 있으면 시스템은 권한을 수정하여 특정 사용자에 의해 이미지 데이터의 사용을 제한합니다. 사용자. 도면에 도시된 바와 같이, 시스템은 권한 데이터(315)를 수정하여 시스템이 특정 사용자의 2D 이미지를 표시하기 위해 이미지 데이터(310)를 판독하는 것을 제한할 것이다. 이 작동 모드에서는 이미지 데이터에 대한 액세스를 모든 사용자로 제한하도록 권한이 구성되어 모든 클라이언트가 2D 이미지 파일에 액세스하거나 표시하는 것을 방지합니다

도 5A 및 5B는 공유 콘텐츠와 관련하여 3D 환경(200)에서 사용자 표현을 찾도록 구성된 시스템의 특징을 도시합니다.

첫 번째 사용자(351A)와 두 번째 사용자(351B)에 대한 아바타 방향은 3D 환경에서 공유 콘텐츠를 보는 시나리오에 대한 그림 5A에 표시됩니다. 그들이 공유하는 콘텐츠는 가상 디스플레이와 같은 가상 개체에 표시될 수 있습니다. 시스템에서 특정 수의 사용자가 공유 콘텐츠를 보고 있음을 감지하면 아바타를 사용하여 세 번째 사용자를 위한 3D 환경으로의 방향을 생성합니다

기능의 예가 그림 5B에 나와 있습니다. 본 예시에서는 가상 환경에 제 3 사용자(351C)의 아바타가 추가되었습니다. 세 번째 사용자(351C)의 아바타는 다른 사용자가 자신의 시야 내에 공유 콘텐츠를 가지고 있음을 시스템이 감지한 것에 응답하여 공유 콘텐츠를 가리킵니다. 또한 시스템은 각 사람의 시야의 기하학적 구조를 결정하고 세 번째 사용자의 아바타가 다른 사용자의 시야를 가리지 않도록 세 번째 사용자의 아바타의 위치를 ​​결정할 수 있습니다.

도 6A 및 6B는 3D 환경(200)에서 다른 사용자에 대해 위치 지정되도록 구성된 구성을 예시합니다. 도 6A는 가상 환경에서 제1 사용자와 제2 사용자의 아바타가 사용자들이 서로를 바라보는 방향으로 배치되어 있는 시나리오를 도시하고 있다.

특정 팀이나 미리 정해진 그룹에서 특정 인원이 서로 시선을 두고 있다고 판단하면 시스템은 환경에 진입하는 세 번째 사용자의 아바타가 다른 사용자를 향하도록 위치를 지정할 수 있습니다. 그림 6A는 시야 내에 다른 그룹 구성원이 있는 최소 3명의 사용자가 있는 여러 아바타를 보여줍니다. 시스템이 그림 6B에 표시된 것처럼 특정 임계 수의 가상 캐릭터가 시야 내에 다른 그룹 구성원을 가지고 있다고 판단하면 시스템은 사용자가 다음을 수행할 수 있는 위치와 방향으로 새로운 그룹 구성원이 가상 환경에 참여할 수 있도록 허용할 수 있습니다. 다른 그룹 구성원을 봅니다.

관련 특허: 커뮤니케이션 세션에 참여하는 사용자의 렌더링을 위한 Microsoft 특허 |

"커뮤니케이션 세션에 참여하는 사용자의 렌더링을 위한 2D 및 3D 전환"이라는 제목의 Microsoft 특허 출원은 원래 2022년 5월에 제출되었으며 최근 미국 특허청에 게시되었습니다.

일반적으로 미국 특허 출원은 검토 후 출원일 또는 우선일로부터 18개월 후에 자동으로 공개되거나, 출원인의 요청에 따라 출원일로부터 18개월 이내에 공개된다는 점에 유의해야 합니다. 응모자. 특허 출원이 공개되었다고 해서 해당 특허가 승인되었음을 의미하는 것은 아닙니다. 특허 출원이 접수된 후 USPTO는 실제 검토를 요구하며, 이는 1~3년 정도 걸릴 수 있습니다.

위 내용은 Metaverse 원격 회의에서 2D와 3D 간의 원활한 전환을 위한 Microsoft 특허 공유의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!