Microsoft AR/VR 특허에서 주어진 방향을 달성하기 위한 적외선 μLED 조명 렌즈 구조 방법

2024년 1월 2일 Yingwei.com의 보고서에 따르면 XR 헤드셋의 시선 추적 기술이 빠르게 발전하고 있습니다. 이 기술은 사용자의 시선 방향과 눈에서 반사되는 적외선 신호를 분석해 시선의 움직임을 추적하고 시선의 방향을 판단할 수 있다. 예를 들어, 일반적인 기술은 머리 장착형 디스플레이에 하나 이상의 적외선 광원을 설치하여 다양한 방향에서 사용자의 눈을 향해 적외선을 방출하는 것입니다. 센서는 사용자의 눈에서 반사되는 적외선(깜박임)을 감지하고 사용자 눈의 XYZ 위치와 시선 방향을 결정하는 데 사용됩니다.

적외선 안구 추적 시스템의 정확도와 처리 능력을 향상하려면 일반적으로 사용자의 눈 주위에 여러 가지 적외선 광원을 배치해야 합니다. 이러한 광원은 각막에 다양한 깜박임 효과를 생성합니다. 이러한 깜박임 효과를 분석함으로써 시스템은 사용자의 눈 움직임을 보다 정확하게 추적할 수 있습니다. 이 방법은 시스템의 추적 정확도를 향상시키고 보다 복잡한 안구 운동 동작을 처리할 수 있습니다.

안타깝게도 기존 XR 시스템은 위치 지정을 위해 적외선 광원을 사용할 때 몇 가지 제한 사항이 있습니다. 일반적으로 기존 시스템은 헤드셋 가장자리나 디스플레이 렌즈와 화면이 장착된 기타 구조물에 적외선 광원을 배치합니다. 그러나 이러한 주변 위치가 항상 최선의 선택은 아니므로 광원을 더 추가하거나 더 크고 강력한 광원을 사용해야 합니다. 광원을 사용자의 눈 홍채에 더 가깝거나 더 잘 배치할 수 있다면 추가 광원이 필요하지 않습니다.

혼합현실 환경에서 사용자 관점의 시각적 방해 문제를 해결하기 위해 XR 시스템은 적외선 광원을 디스플레이 가장자리에서 멀리, 눈에 가깝게 배치하는 새로운 방식을 시도했습니다. 사용자의 시야. 그러나 기존 시스템에는 적외선 광원의 크기가 일반적으로 사용자의 시야에서 매우 눈에 띄는 직경/폭 범위인 1.0mm ~ 4.0mm이기 때문에 문제가 있습니다. 따라서 사용자의 시야각에 미치는 영향을 줄이기 위해 대부분의 기존 시스템에서는 적외선 광원을 렌즈/디스플레이 주변 가장자리의 최적이 아닌 위치에만 배치합니다.

이 문제에 대해 Microsoft는 솔루션을 제공하는 "시선 추적을 위한 마이크로 기반 보이지 않는 조명"이라는 특허 출원을 제출했습니다. 마이크로소프트에 따르면, 이 발명은 혼합 현실 환경에 대한 사용자의 인식을 방해하지 않으면서 적외선 광원이 머리 장착형 디스플레이 렌즈의 시야 영역에 최적의 방향으로 직접 조명될 수 있게 해준다. 이 솔루션은 또한 사용자의 눈/홍채 및 해당 카메라 센서를 찾아 시선 추적 기술을 강화할 수 있습니다.

회사에서는 100μm보다 작은 적외선 μLED 광원을 사용하여 조명 렌즈 구조를 만드는 방법을 제안했습니다. 이 μLED는 헤드셋 렌즈에 내장되어 있어 사용자가 그 존재를 볼 수 없습니다. 따라서 사용 중에 이 μLED는 혼합 현실 환경의 표현을 방해하거나 간섭하지 않습니다.

이제 그림 1에 주목해 보겠습니다. 머리 장착형 장치의 구성은 시선 추적을 위해 빛의 반사를 포착하는 카메라(130) 또는 기타 센서를 기반으로 합니다. 사용하는 동안 광원은 사용자의 눈 주위에 빛을 발산합니다. 빛이 방출되면 사용자의 눈(특히 홍채)에서 반사되어 카메라에 의해 감지됩니다.

광원에 따른 강도와 강도의 타이밍을 감지하여 헤드셋 조명 처리 모듈은 사용자의 눈과 홍채의 위치와 방향을 정확하게 감지할 수 있습니다.

시스템은 카메라/센서에서 캡처한 이미지에 추가 처리를 수행하여 사용자의 동공과 홍채를 구별할 수 있습니다. 이 처리된 이미지는 시스템이 사용자 눈의 위치뿐만 아니라 투사된 홀로그램이나 기타 개체를 기준으로 사용자 눈의 방향과 시선을 결정하는 데 도움이 될 수 있습니다. 사용자 눈의 위치 정보를 사용하여 시스템은 필요한 위치를 지정하고 홀로그램을 다시 투사하여 혼합 현실 환경의 프레젠테이션을 지원할 수도 있습니다.

그림 2는 적외선 광원(210)이 사용자의 눈(200)을 향해 적외선(220)을 방출하는 사용자의 눈(200)을 보여줍니다. 적외선은 정반사 및 확산 반사로 다시 반사됩니다. 도 2는 또한 하나 이상의 반사를 감지하기 위해 카메라(250) 또는 다른 센서가 어떻게 배치될 수 있는지를 보여줍니다.

광원의 위치, 광원이 빛을 방출하는 시간, 카메라의 위치, 사용자 눈에서 감지된 빛 반사의 측정된 강도와 시간을 통해 시스템은 사용자 눈의 상대적인 위치를 결정할 수 있습니다. /아이리스. 이는 빛이 사용자 눈의 여러 부분에서 다르게 반사되기 때문입니다. 예를 들어 빛은 공막에서와 각막의 동공 및 홍채 영역에서 다르게 반사됩니다. 이 차이의 감지 및 측정은 반사가 정반사인지 확산인지에 따라 결정됩니다.

광원을 사용자의 각막에 가까운 등 최적의 위치에 배치하려면 광원을 적절한 위치에 배치해야 합니다. 불행하게도 기존의 적외선 광원은 너무 커서(예: 1-4mm) 렌즈를 통해 사용자가 주변 환경을 보는 것을 방해하지 않고 사용자의 시야 내에 위치할 수 없습니다.

이러한 문제를 해결하기 위해 Microsoft는 적외선 μLED로 구성된 조명 렌즈의 사용을 제안합니다. 이 구성을 사용하면 헤드셋 장착 구조의 물리적 폼 팩터로 인해 부과되는 기존 제한을 고려할 필요 없이 광원을 사용자의 눈에 가깝게 최적으로 배치할 수 있습니다.

그림 3은 16개의 적외선 μLED가 격자 방식으로 배열된 적외선 μLED 렌즈 구조(300)를 보여줍니다. 적외선 μLED는 투명 기판(310) 위에 배치되어 양극과 음극 단자 사이의 전도성 트레이스(320)를 따라 회로를 형성합니다. 예를 들어 양극 및 음극 단자에 전기적으로 연결되고 조명 제어 장치에 의해 제어될 수 있는 헤드셋의 전원 공급 장치로 회로에 전원이 공급되면 적외선 μLED가 활성화되어 적외선을 방출합니다.

적외선 μLED의 발광 파장은 790μm~1mm입니다. 바람직한 실시예에서, 적외선 μLED는 대략 800-900μm의 파장, 훨씬 더 바람직하게는 대략 850μm의 파장에서 광을 방출한다.

그림 4A-4D는 다양한 조명 렌즈 구조에서 다양한 수의 적외선 μLED를 보여줍니다. 구체적으로, 적외선 uLED의 분포 패턴은 그림 4A에서는 다소 원형/타원형이지만 그림 4C에서는 다소 직사각형이고 그림 4D에서는 다소 다이아몬드 모양입니다. 한편, 도 4b에 도시된 실시예는 원형/타원형 외부 패턴과 삼각형 내부 패턴의 두 가지 다른 패턴을 포함한다.

또한, 조명 렌즈 구조(400A)는 6개의 적외선 uLED로 구성되고, 조명 렌즈 구조(400C, 400D)는 각각 8개의 적외선 uLED로 구성됩니다. 조명 렌즈 구조(400B)는 19개의 적외선 uLED를 포함한다.

적외선 uLED의 다양한 수량과 패턴은 다양한 필요와 선호도에 맞게 변경할 수 있습니다.

도 5에서 헤드 디스플레이(500)는 투명한 조명 렌즈 구조(510)로 구성되며, 렌즈 구조(510)는 복수의 적외선 μLED(540)를 갖는다. 그림에 표시된 것처럼 적외선 μLED(540)는 각 눈과 렌즈 영역에 8개씩 원형 모양으로 분포되어 있습니다. 단일 회로 또는 2개 이상의 서로 다른 회로에 연결되도록 다양한 IR μLED(540)가 선택될 수 있습니다. 회로를 형성하는 전기 트레이스는 표시되지 않습니다.

사용 중에 적외선 uLED에서 방출되는 빛은 적어도 부분적으로 사용자의 눈을 향하게 되며, 빛은 다시 반사되어 장치 카메라(530)에 의해 감지됩니다.

도 6은 4개의 적외선 uLED를 포함하는 제1 투명 조명 렌즈 구조(610)와 8개의 적외선 uLED를 포함하는 제2 투명 조명 렌즈 구조(620)를 갖는 안경(600)의 실시예를 도시한다.

이 예는 헤드셋의 양면이 반드시 일치/대칭 적외선 uLED 분포를 가질 필요는 없음을 설명하는 데 사용됩니다. 적외선 uLED의 수와 분포에 관계없이, 사용 중에 적외선 uLED에서 방출된 빛은 적어도 부분적으로 사용자의 눈을 향하게 되며, 빛은 다시 반사되어 장치 카메라(630)에 의해 감지될 수 있다는 점을 이해해야 합니다.

관련 실시예에서, 도 7에 도시된 머리 장착형 디스플레이 시스템(700)은 선바이저가 있는 투명 조명 렌즈 구조(710)를 포함한다. 이 예에서는 바이저의 한쪽 면에 원형 패턴을 형성하는 여러 개의 적외선 uLED가 있습니다. 바이저 반대편에는 사각형 패턴으로 배열된 4개의 적외선 uLED가 있습니다.

이전의 모든 예에서 IR uLED는 비례적으로 표시되지 않습니다. 실제로 IR uLED는 트레이스의 두께처럼 너무 작기 때문에(

또한 적외선 LED는 매우 작기 때문에 적외선으로 사용자의 눈을 밝히는 데 사용할 수 있으며 동시에 렌즈를 통해 사용자의 시야를 가리지 않고 사용자가 통과하는 렌즈 위에 배치할 수 있습니다.

전도성 트레이스는 너비가 50μm 미만, 심지어 25μm 미만으로 매우 얇기 때문에 사용자의 눈 가까이에서 사용할 때 시각적으로 눈에 띄지 않으며 기본적으로 보이지 않습니다. 이러한 구성은 트레이스가 조명 렌즈 구조 내부에 위치할 수 있게 한다는 점에서 특히 유리합니다. 사용자의 눈 바로 앞에 위치하더라도 사용 중에 렌즈를 통해 사용자가 주변 환경을 보는 데 방해가 되지 않습니다.

그림 8은 본 발명의 조명 렌즈 구조를 제조하는 데 사용되는 제조 공정을 시각화한 것입니다.

도시된 바와 같이, 제조 공정에는 하나 이상의 적외선 μLED를 포함하는 웨이퍼(810)를 얻는 것이 포함됩니다. 예를 들어, 웨이퍼(810)는 에피택셜 성장 또는 증착 프로세스에 의해 형성된 에피택셜 웨이퍼일 수 있다.

그림 8에 표시된 프로세스(800)에는 적외선 uLED가 전사되는 기판(820)을 얻는 것도 포함됩니다. 도시된 바와 같이, 하나 이상의 적외선 uLED를 이미 기판(820) 상에 있는 전도성 트레이스(825)로 전달하고 기판 상에 하나 이상의 다른 회로(827)를 형성하기 위해 전달 프로세스(830)가 수행된다.

기판에서 제거 및 배치되는 IR μLED의 크기는 모든 방향에서

적외선 uLED의 최대 크기는 75μm 미만, 50μm 미만, 심지어 20μm 미만일 수 있습니다. 일 실시예에서, 적외선 uLED의 최대 치수는 대략 10μm이다.

트레이스의 너비도 제한되어 있으며 두께는

그림 9는 안구 추적을 수행하도록 구성된 흐름도(900)를 보여줍니다. 여기서 머리 장착형 디스플레이는 복수의 적외선 μLED를 포함하는 조명 렌즈를 포함하고, 복수의 적외선 μLED 각각은

시스템 구성 요소는 적외선 uLED의 조명을 제어하여 조명 렌즈에 있는 하나 이상의 적외선 uLED에서 사용자의 눈을 향해 적외선을 방출합니다.

다음으로, 헤드셋은 헤드셋 사용 중 사용자의 눈에서 반사되는 적외선의 깜박임을 감지 및 처리하고, 감지 및 처리된 깜박임을 기반으로 사용자 눈의 위치를 ​​결정하도록 구성됩니다.

이제 다중 적외선 uLED를 사용하여 조명 렌즈 구조를 제조하기 위한 흐름도(1000)를 예시하는 도 10을 살펴보겠습니다.

여기에는 투명한 기판을 얻기 위해 투명한 백플레인에 여러 트레이스를 적용하는 것이 포함됩니다. 복수의 트레이스는 전기 전도성이며 애노드 단자와 캐소드 단자 사이에 적어도 하나의 전기 회로를 형성합니다.

그런 다음, 여러 개의 IR μLED 또는 최대 크기가 100μm 미만인 개별 IR μLED로 개별적으로 추출할 수 있는 재료를 포함하는 IR μLED 웨이퍼가 얻어집니다. 다음으로, 하나 이상의 적외선 uLED 세트가 미리 결정된 패턴으로 기판에 전사되고, 적외선 uLED는 백플레인/기판 상의 적어도 하나의 회로에 전기적으로 결합됩니다.

관련 특허: 시선 추적을 위한 마이크로 LED 기반 보이지 않는 조명

"시선 추적을 위한 마이크로 기반 보이지 않는 조명"이라는 제목의 Microsoft 특허 출원은 원래 2023년 1월에 제출되었으며 최근 미국 특허청에 공개되었습니다.

일반적으로 미국 특허 출원은 검토 후 출원일 또는 우선일로부터 18개월 후에 자동으로 공개되거나, 출원인의 요청에 따라 출원일로부터 18개월 이내에 공개된다는 점에 유의해야 합니다. 응모자. 특허 출원이 공개되었다고 해서 해당 특허가 승인되었음을 의미하는 것은 아닙니다. 특허 출원이 접수된 후 USPTO는 실제 검토를 요구하며, 이는 1~3년 정도 걸릴 수 있습니다.

위 내용은 Microsoft AR/VR 특허에서 주어진 방향을 달성하기 위한 적외선 μLED 조명 렌즈 구조 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!