수백 개의 AR/VR 특허를 살펴보고 Apple XR의 모든 측면을 살펴보세요.

이 밖에도 루버 필름을 사용해 디스플레이 화면의 발광 각도를 조절해 크로스토크를 줄이거나, 반사판을 추가해 투시 각도를 변경해 '시각적으로 원근 장면을 가져오는 등' 광학 솔루션의 최적화 방법이 자세히 설명되어 있다. 더 정확한 장면 깊이/거리를 보여줍니다.

◎ 다층 기하학적 위상 렌즈 솔루션

특허 번호 US20210048674A1에서 Apple은 3차원 가상 및 실제 융합 사진을 표시하기 위한 광학 솔루션을 제안했습니다. 이는 다층 렌즈 구조를 사용하여 서로 다른 초점면에 서로 다른 물체를 표시하고 이를 몰입감 있게 접합하는 것이 특징입니다. 입체적인 장면. 이 솔루션을 구현하려면 인간 눈의 동적 줌 효과를 성공적으로 시뮬레이션하기 위해 광학, 시선 추적, 소프트웨어 알고리즘 등의 요구 사항에 큰 주의가 필요합니다.

◎ 색이 변하는 렌즈

애플은 2019년 특허(US11029521B2)에서 광변색층을 중첩한 AR 렌즈 솔루션을 제안했는데, 이는 강한 자외선 아래에서 빛 투과율을 줄여 야외에서 AR 이미지를 더욱 선명하게 표시하는 것이 특징입니다. 일반적인 색상 변경 안경과 유사하게 이 메커니즘은 후드를 사용하는 일부 AR 안경을 대체할 수 있습니다.

◎ 분산 보상 광학 솔루션: US20200117003A1

이 솔루션은 AR과 같은 근안 광학의 광학적 효율성과 이미지 품질을 향상시키는 것을 목표로 합니다. 다양한 홀로그램 재료를 격자 매체로 사용하는 것이 특징입니다. 각 홀로그램 재료는 서로 다른 격자 벡터, 주파수 및 방향을 갖습니다. 음 색수차를 제거합니다. 이 솔루션은 편광판 및 프로젝션 구성 요소와 결합하여 광학 솔루션을 형성할 수 있습니다.

◎ 마이크로 LED 화면 품질 향상

마이크로 LED 화면의 생산 품질을 더 잘 제어하기 위해 Apple은 마이크로 OLED를 패널에 접합하기 전에 표준 이하의 밝기(예: 디스플레이 광학 스캐닝 사용)로 LED 픽셀을 캡처할 수 있다고 주장하는 특수 테스트 장비 및 아키텍처를 설계했습니다. 문제가 발견되면 보다 효과적인 수리를 위해 예비 LED를 직접 교체할 수 있습니다.

마이크로 LED는 비교적 최첨단 디스플레이 기술로, 휴대폰, 스마트워치 외에도 향후 AR/VR 헤드셋에도 활용될 것으로 예상됩니다.

◎ 360° 시점

특허 번호 US20210092292A1에서 Apple은 8개의 카메라가 장착된 AR/VR 헤드 마운트 디스플레이 솔루션을 설명합니다. 이 솔루션은 캡처 및 원근감을 위해 헤드 마운트 디스플레이(전면 커버 및 헤드밴드 포함) 주위에 8개의 카메라를 배열하는 것이 특징입니다. 360° 주변 환경을 제공하여 사용자의 환경 인식을 향상시키고 사각지대까지 볼 수 있습니다.

◎ 메인화면 + 보조화면 디자인

2021년에 공개된 특허에서 Apple은 메인 화면 + 보조 화면을 기반으로 하는 AR 안경 솔루션을 설계했습니다. 메인 화면과 보조 화면이 독립적으로 작동할 수 있으며 메인 화면을 표시하는 데 사용됩니다. AR 기능은 해상도가 낮고 주로 카운트다운, 이벤트 등과 같은 간단한 프롬프트 정보를 표시하며, 프레임의 가장 바깥쪽 가장자리에는 AirTag가 근처에 있음을 알려주는 원형 LED 표시기가 있습니다. 이 디자인의 장점은 제한된 화면 영역을보다 합리적으로 사용하면서 컴퓨팅 성능과 전력 소비를 줄인다는 것입니다.

특허 번호 US11450297B1에서 Apple은 하나의 메인 스크린과 두 개의 보조 스크린을 갖춘 포비티드 렌더링 방식을 설계했습니다. 이 세 개의 스크린(유연하거나 견고한 패널을 사용할 수 있음)은 숨기기 위해 머리 곡선에 맞는 호로 배열됩니다. 화면 경계에서 Apple은 고해상도와 저해상도 화면 간의 연결을 최적화하기 위해 렌즈에 독립적인 확산 구조 레이어를 추가했습니다.

두 번째, 시선 추적

시선 추적 기술은 Apple의 AR/VR 특허에서 반복적으로 언급되는 핵심 기술입니다. 주요 용도로는 시선 렌더링, 전력 소비 감소, 동적 포커싱, 생물학적 모니터링, 시각 감지, 시선 입력 등이 있습니다. 또한 이 특허는 다음과 같이 시선 추적의 구현 및 최적화에 대해서도 자세히 설명합니다.

• 근적외선 솔루션(동공 확장 및 응시점 캡처 가능)
• 방향성 레티날 플래시 기반 솔루션
• 동축 조명 솔루션(특정 펄스 대역 광원과 이미지 센서가 동일한 축에 있으므로 더 밝은 동공 이미지를 캡처할 수 있다는 장점)
• 시선 추적 지연 보상 및 효과 최적화.

다음은 좀 더 독특한 것들입니다:

◎ No. US20200019238A1: 인간의 눈의 단속운동은 흔한 현상으로, 일반적으로 초당 몇 번의 단속운동(succade)이 발생하는 짧은 시간 동안 시각적 민감도도 일시적으로 감소하여 이를 유발합니다. 일시적인 실명을 발견하기가 어렵습니다. 이 기능을 활용하여 시스템은 사용자가 눈치채지 못하게 디스플레이 콘텐츠를 조정할 수 있으며, 이를 통해 전력 소비를 줄이고 화면 번인 위험을 줄일 수 있습니다.

이 솔루션은 시선 추적 기술과 결합하여 구현되어야 하며 CV 또는 IR 센서 솔루션을 사용할 수 있습니다.

◎No. US20190339770A1: 이 특허는 사용자의 시선 변화에 따라 사진의 초점을 전환할 수 있는 시선 추적 기반의 기계식 줌 AR/VR 솔루션을 설명합니다. 특허에서는 줌 시스템의 지연을 보완하기 위해 인간의 눈 움직임 궤적(안구 스캔의 착지점)을 미리 예측하고 이미지를 사전 렌더링할 수 있는 시선점 예측 기술에 중점을 두고 있다. 장점은 초점 전환을 더 원활하게 할 수 있다는 것입니다.

2018년 Apple은 8K 해상도(중앙 시각 영역)를 구현할 수 있는 포비티드 렌더링 솔루션에 대한 특허를 출원했습니다. 2019년에는 2개의 화면(고화질 메인 화면 + 저화질 보조 화면)을 사용하는 것이 특징인 포비티드 렌더링 솔루션(각각 US20190172399A1, US20190180672A1)을 언급한 Apple 특허도 있었습니다. 해상도는 8K에 이를 것으로 예상됩니다. , 화면 ppi는 1000에서 2000 사이입니다.

◎ US20190133440A1: 우세안을 식별하여 시선 추적의 정확성과 안정성을 개선하고 최적화하는 솔루션을 제시합니다. 주안은 주안이라고도 합니다. 안구 추적에서 주안의 데이터를 집중적으로 분석하면 안구의 광축과 시각 축을 더 잘 정렬할 수 있어 더 좋고 더 빠른 보정 결과를 얻을 수 있습니다.

주안 식별의 또 다른 이점은 사용자가 사시, 약시 등 이향성과 관련된 안과 질환을 진단하고 이를 기반으로 고정점 렌더링 기술을 최적화하는 데 도움이 될 수 있다는 것입니다. 다양한 사람들에 대한 시선 추적의 적응성을 더욱 최적화하기 위해 Apple은 특허 번호 US11644896B2에서 시선 추적 시스템이 다양한 사용자의 눈 특성을 제어 매개변수로 추출하고 이를 기반으로 시선 지점을 동적으로 보정할 수 있다고 언급했습니다. .

◎ WO2020068447: Apple은 시선 추적을 기반으로 AR/VR 애플리케이션을 여는 방법을 제안했습니다. 이는 사용자가 대상 애플리케이션 로고를 응시하고 "열기"라고 말하기만 하면 되는 것이 특징입니다. 응용 프로그램을 열려면 제어가 자연스럽고 빠릅니다. 2021년에 공개된 또 다른 특허에서 Apple은 응시점을 사용하여 텍스트 입력 상자를 빠르게 전환하여 VR에서 양식을 작성하고 개인 정보를 더 빠르게 입력할 수 있는 솔루션도 제안했습니다.

Apple의 관점에서 시선 추적은 응시점을 사용하여 카메라 촬영 위치를 구동하고, 사용자의 주의를 영상 중앙에 배치하고, 변화에 따라 카메라를 빠르게 움직이는 등 1인칭 영상 녹화를 동적으로 최적화할 수도 있습니다. 시선 지점(흔들림 방지를 위한 스무딩 알고리즘 사용) 이는 미래의 전천후 AR 안경에 매우 적합할 것입니다.

◎ No. US20200278539A1: 애플은 시선 추적 하드웨어의 전력 소모를 절약하기 위해 특허에 이벤트 카메라 기반 솔루션을 설계했는데, 이는 계속 켜져 있는 것이 아니라 눈 움직임이 인식될 때만 켜지는 것이 특징이다. 스캐닝. 이 특허의 또 다른 특징은 사용자의 생체 정보를 바탕으로 빛의 세기를 조절할 수 있다는 점이다. 사용자가 비정상적으로 눈을 깜박이거나 어린이 사용자를 인식하면 시스템 알고리즘이 광원의 밝기를 줄여 시각적 편안함을 향상시킨다. .

또 다른 절전 솔루션은 저해상도와 고해상도 시선 추적 모드를 결합하여 각각 안구의 상대적인 움직임과 정확한 위치를 식별하고 이를 머리 센서와 결합하여 시선 지점을 찾는 것입니다.

◎ No. US10354136B2: 시선 추적 정확도를 높이려면 드리프트를 줄이는 것이 핵심입니다. 이 특허에서 Apple은 시선 추적 드리프트를 줄일 수 있다고 주장하는 특수 렌즈 시스템을 도입합니다. 이 솔루션은 인간의 눈에 도달하고 반사되는 빛의 데이터를 식별하여 안구 등을 모델링할 수 있는 광선 추적을 기반으로 합니다.

일부 시선 추적 특허는 2차 이미징을 통해 시선 지점을 캡처하는 솔루션을 제안하는 US10437327B2와 같이 2017년 Apple이 인수한 SMI(Senso Motoric) 회사에서도 나왔습니다. 두 번째 이미징은 낮은 해상도를 가지며 밝은 안구를 식별하는 데 사용됩니다. 두 개의 캡처 데이터를 결합한 후 시선 지점 예측 데이터가 더 정확해질 수 있습니다.

셋, 바이오센서

일부 특허에서 Apple은 착용자의 신체 상태를 감지하고 이에 따라 표시되는 콘텐츠를 변경하기 위해 AR/VR 헤드셋에 바이오 센서를 추가할 것을 제안합니다. 세부적으로는 강도, 온도, 습도, 변위, EEG, 정전용량, EMG, 심박수 등의 정보를 인식해 심리적 스트레스와 개인 건강 상태를 평가한 후 AR/VR에서 휴식에 도움이 되는 애플리케이션이나 콘텐츠를 추천한다. , 심지어 의료 정보를 적극적으로 제시할 수도 있습니다.

2019년 특허에서 Apple은 AR/VR 헤드셋과 안경에 PPG(광용적맥파 측정), ECG(심전도), GSR(전기 피부 신호) 등 다양한 바이오 센서를 추가하는 안면 추적 솔루션을 설명했습니다. , 압력 센서, eField, 열 센서 등 씹기, 눈 깜박임, 코주름 등 다양하고 복잡한 얼굴 움직임을 분석해 사용자의 건강 상태를 파악할 수 있다.

네 가지 대화형 기술

1, 에어제스처

Apple의 3D 제스처 기술 중 일부는 Apple이 2013년에 인수한 PrimeSense에서 비롯되었습니다. 일부 관련 특허를 보면 발명가가 전 PrimeSense 직원이었던 것을 알 수 있습니다. 예를 들어, 특허에는 사용자가 잡기, 밀기, 놓기 및 기타 제스처를 사용하여 3D 사용자 인터페이스를 조작하여 게임을 하거나 비디오를 재생할 수 있는 3D 제스처 솔루션이 도입되었습니다.

Air 제스처는 Apple의 AR/VR 특허에 포함된 일반적이고 중요한 기술입니다. AR/VR 헤드셋뿐만 아니라 iPhone, iPad, Mac 및 기타 장치에서도 구현할 수 있습니다.

Apple의 에어 제스처 시스템은 구조광, LiDAR, RGB, IR 센서, 초음파 변환기, VSWR 센서 등과 같은 다양한 솔루션을 사용할 수 있습니다.

예를 들어, 특허 번호 US20210011289A1에서 Apple은 인사이드 아웃 포지셔닝을 지원하는 AR/VR 헤드 장착 디스플레이 솔루션을 설명합니다. 이 솔루션은 RGB 카메라, ToF 센서 및 IR LED 모듈이 장착되어 핸드 트래킹, 3D를 지원하는 것이 특징입니다. 환경 범위 등 항목 기능.

2, 체성감각/스마트 장갑

Apple은 장갑의 손가락 끝에 자기 센서를 추가하여 자기장의 변화와 간섭을 감지하여 자기 소스와 센서의 상대적인 위치를 찾는 등 다양한 기술 솔루션을 포함하는 AR/VR 장갑에 대한 여러 특허를 출원했습니다. 이를 통해 제스처 포지셔닝이 가능해집니다. 유연한 힘 센서 어레이와 광 전도성 재료를 사용하여 작은 촉각 상호 작용과 그립력의 동적 변화를 감지할 수 있습니다.

또한, IMU 포지셔닝 기반의 장갑 솔루션도 제안되었습니다. 장갑의 너클 부분에 IMU 센서가 내장되어 있어 요인에 방해받지 않고 손바닥과 손가락의 움직임과 위치를 정확하게 감지할 수 있는 것이 특징입니다. 교합과 같은 손가락 교차 움직임을 인식할 수 있습니다.

특허번호 US11397486B2에서도 애플은 초음파를 사용해 동작을 인식하는 VR 장갑을 제안했다. 이는 사용자의 손바닥에 가해지는 압력과 손가락의 굵기를 식별하는 기능이 특징이다.

Apple은 제스처 추적 외에도 마찰 저항 및 유연한 패치와 같은 기술을 기반으로 AR/VR 장갑에 체성 감각 피드백(No. US10481688B1, US20200257362A1)을 제공하여 바다, 파도, 나무, 해변과 운전대.

또 다른 2020년 특허에서 Apple은 패브릭 소재를 기반으로 한 유연한 신체 느낌 장갑 솔루션을 설명했습니다. 패브릭 부분이 다양한 손 모양을 가진 사용자에 맞게 확장되거나 축소될 수 있다는 것이 특징입니다.

3, 스마트 팔찌/시계

Apple은 특허에서 스마트 워치를 사용하여 VR 게임을 제어하는 ​​솔루션을 설명합니다. 이 기능은 정맥 이미지를 비교하고 분석하여 손 관절 움직임을 추론할 수 있는 피부 감지를 기반으로 합니다.

US20210303068A1 등의 특허에서 Apple은 카메라 CV, UWB, EMG, RF, 감지 회로 등을 통해 스마트 워치에서 양손의 접촉 움직임을 식별하여 한 손가락을 다른 슬라이드에 사용할 수 있는 솔루션도 제안했습니다. 커서 이동, 드래그, 열기 또는 기타 명령을 시뮬레이션합니다.

실제로 Apple Watch는 2021년에 제스처 인식 기능(AssistiveTouch)을 출시했습니다. 이 기능은 주먹을 쥐고 손가락을 집는 등의 움직임을 인식할 수 있어 한 손의 미세한 움직임으로 시계 인터페이스를 제어할 수 있습니다. 미래에는 이러한 형태의 상호작용이 AR/VR 헤드셋과 결합되어 자연스러운 제스처 상호작용이 직접적으로 가능해질 수도 있습니다.

4, 스마트링

현재 시중에 나와 있는 AR/VR의 주요 상호작용 방식은 핸들에 이어 제스처입니다. Google, Meta, Apple과 같은 회사는 AR/VR 기술을 제어하기 위해 스마트 링을 사용하는 방법을 연구하고 있습니다. 특히 애플의 AR/VR 관련 특허(US20190004604A1, US10444834B2 등)에는 다양한 디자인이 수반되는 스마트링이 소개되는 경우가 많다.

예: U자형 손가락 반지(탄성/유연한 소재, 크기 조절 가능), 반지, 손가락 침대(다섯 손가락의 움직임을 추적) 또는 패셔너블한 나선형, 경첩 및 기타 디자인. 확장 가능한 외관이 특징이며 여러 장치에서 사용하거나 Apple Pencil과 같은 주변 장치와 공동으로 사용할 수 있습니다.

기능에는 무선 설계, 직물의 광학 위치 지정, 다중 센서(터치패드, NFC 통신, 바이오 센서, SMI 압력 센서, 가속기 바늘 및 피부 접촉/집기, 탭 및 기타 미세 제스처 상호 작용을 인식할 수 있는 기타 장치)가 포함됩니다. 6DoF 포지셔닝은 환경 온도, 물리적 표면 모양 및 질감은 물론 심박수, 혈압, 혈중 산소와 같은 생물학적 신호까지 식별할 수 있습니다. 일부 특허에서는 스마트 링에 디지털 손잡이, Mac 컴퓨터 잠금 해제 등과 같은 Apple Watch와 유사한 일부 스마트 기능을 장착할 수 있다고 언급합니다.

5, 스타일러스 상호작용

일부 특허에서 Apple은 공간에서 3D 개체를 생성하기 위해 스타일러스(예: Apple Pencil)를 사용할 것을 제안했는데, 이는 기존의 터치스크린 기반 스타일러스 솔루션과 매우 다릅니다.

예를 들어 US20180018057A1이라는 번호는 비전자적인 표면 입력을 기반으로 한 스타일러스 디자인을 나타냅니다. 특징은 스타일러스에 위치 센서가 내장되어 있어 어디에서나 쓴 내용을 식별할 수 있다는 것입니다.

2020년 특허에서 Apple은 6DoF 포지셔닝을 지원하는 스타일러스에 대해 설명했습니다. 전단력 피드백을 지원하는 것이 특징입니다. 사용자는 펜을 잡을 때 표면, 볼륨, 내부 질감과 같은 시뮬레이션된 물리적 감각을 느낄 수 있습니다.

또 다른 특허에서 Apple은 Apple Pencil에 압력 감도를 제공하고(VR 컨트롤러의 트리거 키와 유사) 사용자가 연필을 사용하여 공간에 정보를 입력할 수 있도록 하는 간단한 스타일러스 어댑터도 제안했습니다. 또한 스타일러스는 AR/VR에서 탭핑, 스크롤링, 회전, 플릭, 슬라이딩 등의 게임을 플레이하기 위한 컨트롤러로도 사용할 수 있다(US20230042447A1).

6, 가상 키보드

No. US10237509B1: Apple은 AR/VR 사용자가 빠르게 텍스트를 입력할 수 있도록 하기 위해 특허에서 가상 키보드 디자인을 제안했습니다. 이 개념은 카메라를 통해 직접 보는 것과 실제 키보드 위에 가상 키보드 레이어를 겹쳐 놓는 것입니다. 키, 가상 키보드가 시각적으로 더 명확해집니다. 입력 하드웨어 측면에서 이 솔루션은 물리적 키보드, 태블릿용 터치스크린 키보드, 동작 추적 장갑과 호환됩니다.

No. US20200088999A1: 이 특허는 프로젝션 기반 가상 키보드 솔루션을 구상하고 있으며, 이 솔루션은 키보드를 데스크탑과 같은 물리적 표면에 프로젝션하고 3D 센서를 사용하여 사용자 탭을 식별할 수 있는 것이 특징입니다. . 키보드 동작. 이 특허에 언급된 헤드셋은 케이스에 버튼, 터치 센서, 터치 디스플레이를 추가하는 등 다른 외부 화면 상호 작용도 지원하므로 사용자가 헤드셋을 착용하지 않고도 빠르게 사용할 수 있다는 점은 주목할 만합니다.

또 다른 특허(US10890952B2)에서 Apple은 유사한 인터랙티브 표면 프로젝션 솔루션에 대해서도 언급했는데, 이는 노트북에 계산기 기능을 겹쳐서 표시하는 것과 같이 물리적 표면을 작동 가능한 메뉴로 바꾸는 것이 특징이거나 노트북에 계산기 기능을 겹쳐서 표시하는 인터랙티브 UI입니다. 팔.

다섯 가지, VST 관점

일부 특허에서 볼 수 있듯이 Apple의 VST 기술 중 일부는 2017년에 인수한 VRVANA 회사로부터 얻은 관점 기술입니다. VRVANA 기술은 광학 렌즈의 이미지 왜곡을 보정하는 것이 특징이며 VST 원근 지연은 몇 밀리초에 불과합니다. Apple은 2019년에 공개된 특허(발명자 중 한 명은 VRVANA 창립자 Bertrand Nepvue)에서 실제 장면에 있는 사람들의 배경을 가상 콘텐츠로 대체할 수 있는 실시간 크로마 키잉 원리를 기반으로 하는 MR 솔루션을 설명했습니다. 그린 스크린 교체와 유사합니다.

또한 Apple은 2019년 또 다른 특허(US10330935B2)에서 헤드셋에 고해상도 및 저해상도 투시 카메라 2개를 장착할 수 있다고 지적했습니다. 이 디자인은 VR의 시선점 렌더링 기술을 사용하여 사용자의 투시 해상도를 줄입니다. 컴퓨팅 작업을 최적화하고 하드웨어 비용을 줄이는 가벼운 부분입니다.

또한 이 특허에는 AR/VR 헤드셋이 두 세트의 RGB 카메라를 통해 주변 3차원 환경을 포착하여 인간의 시각 시스템을 시뮬레이션할 수 있다고 명시되어 있습니다.

식스, 공간 오디오

Apple은 HRTF(머리 관련 전달 함수), 기하학적 음향학 및 기타 기술을 기반으로 한 일부 솔루션, 실시간 사운드 레이 트레이싱을 통한 실내 음장 시뮬레이션 등 공간 오디오에 대한 여러 특허도 출원했습니다. 또한 사용자의 머리 움직임에 따라 시뮬레이션된 소리의 거리와 방향을 동적으로 조정하여 VR RPG 게임, 호러 게임의 경험을 향상시키는 것이 특징인 머리 위치 정보를 기반으로 2채널 오디오를 예측하는 솔루션도 탐색했습니다. 영화 및 기타 콘텐츠.

US2022032965A1에는 AirPods의 신체 방향 모드와 유사하게 머리에서 몸통 방향을 기준으로 사용자의 방향을 찾는 솔루션이 설명되어 있습니다.

2021년 특허에서 Apple은 AR/VR 헤드셋에 여러 개의 마이크 어레이가 장착될 수 있고 방향성 오디오 감지를 지원하며 주변 환경에서 소리의 소스를 계산하여 시각적으로 표시하거나 프롬프트할 수 있다고 지적했습니다. 이러한 기능은 인간의 청각을 보완하고 사용자가 정상적인 인식 범위를 넘어서는 소리를 식별하는 데 도움이 될 수 있습니다(유사한 개념은 AR을 사용하여 육안으로 볼 수 없는 가스, 전자기 신호 등을 표시할 수도 있음).

2023년 특허(US2023014111A1)에서는 공간 필터를 사용하여 사용자 환경에 따라 바이노럴 오디오에 공간 단서를 추가하여 공간 오디오의 실제 경험을 더욱 몰입감 있게 만들 수 있다는 점도 지적되었습니다.

세븐, 포지셔닝 시스템

◎ 초음파 포지셔닝

현재 주류 VR 포지셔닝은 적외선, CV 등 광학 솔루션을 기반으로 합니다. Apple은 특허 번호 US20190094955A1에서 센서와 벽, 대상 및 장애물 사이의 상대적 거리를 측정하고 주변 환경에 대한 3D 지도를 생성할 수 있다고 주장하면서 비행 시간 거리 측정 원리를 기반으로 한 초음파 위치 확인 솔루션을 제안했습니다. 컨트롤러, 헤드셋을 찾고 장애물을 감지하고 표면을 식별합니다.

◎ 3D 거리 측정/스캐닝

Apple은 특허에서 AR/VR 헤드셋에 구조광 센서, 쌍안경 3D 이미지 센서 모듈(2개 이상의 카메라로 구성), LiDAR 및 3D 무선 센서, 적외선을 포함한 여러 3D 센서를 장착할 수 있다고 여러 번 언급했습니다. 또는 CV 카메라 등. 이 센서는 공간을 찾고 장애물을 식별하는 데 사용할 수 있습니다.

에잇, 기타 센서

◎ 다중 센서 배열

2021년 USPTO는 여러 카메라와 센서가 장착된 분할 AR/VR 헤드셋을 설명하는 Apple의 주요 AR/VR 특허(US20210165229A1)를 공개했습니다. 왜 중요 함? 우선 특허 발명자는 홀로렌즈 공동 발명자인 아비 바지브(Avi Bar-Zeev), 애플에서 20년 이상 근무한 제프 스탈(Geoff Stahl) 등 애플의 핵심 인물들이다. 최근 Bloomberg는 Stahl이 Apple의 AR/VR 프로젝트의 핵심 애플리케이션인 xrOS 운영 체제를 담당하고 있다고 밝혔습니다.

또한 특허 번호 US20210294104A1에서 Apple은 AR/VR 헤드셋에 카메라, 시선 추적 모듈, LiDAR, 지문 인식 모듈, 동작 인식 모듈, 초음파 센서, 광학 거리 센서 등 더 많은 센서를 장착할 수 있다고 구상하고 있습니다. , 망막 스캔 센서, 온도 센서, EMG, 산소 센서, 심박수 센서, 혈류 센서, 저항 센서, 스트레인 게이지, 가속도계, 자기 센서, 전위차계 등

◎ 홀 센서 (No. US10557724B1)

일반적으로 AR/VR 헤드셋은 거리 센서를 사용하여 착용 상태를 감지합니다. 사용자가 헤드셋을 착용하고 있음을 감지하면 시스템이 켜지고, 사용자가 헤드셋을 벗은 것을 감지하면 대기 모드로 들어갑니다. 상태. 거리 센서에 비해 홀 센서는 더 많은 전력을 절약합니다. Apple은 헤드셋의 여러 홀 센서와 자기 메커니즘을 사용하여 장치의 회전 각도를 감지하여 착용 상태를 확인하기를 희망합니다. 실제로 Apple의 Bluetooth 헤드폰 AirPods도 홀 센서를 사용합니다.

나인, 외관 디자인

◎ 디지털 노브

Apple은 여러 특허(예: US20210089136A1)에서 AR/VR 헤드셋에 디지털 노브 디자인을 적용한 것을 언급했습니다. 실제로 디지털 노브는 Apple Watch 및 AirPods Max 헤드셋에 등장한 고전적인 상호 작용 방법으로, AR/VR 헤드셋에 사용하면 볼륨, 화면 밝기를 조정할 수 있으며 AR과 AR 간 전환도 가능합니다. VR 모드.

흥미롭게도 Apple은 특허 번호 US20230162929A1에서 디지털 손잡이가 여러 회전 동작을 결합하여 조합 명령을 실행하여 더 풍부한 상호 작용을 달성하는 등 더 복잡한 작업을 지원할 수 있다고 지적했습니다.

◎ 유연한 스마트 섬유 소재

현재 AR/VR은 케이싱에 패브릭 랩핑을 주로 사용하고 있으며 전도성 패브릭 디자인은 아직 적용되지 않았습니다. 특허 번호 US20190191557A1에서 Apple은 홈이 있는 전도성 케이블이 내장되어 있고 완장 및 AR 안경과 같은 웨어러블 장치에 사용할 수 있는 유연한 스마트 패브릭 솔루션을 제안했습니다.

◎ 몰래카메라

AR/VR 헤드셋의 필수 부품은 광학 센서와 카메라로, 주로 환경 감지, 위치 확인, 동작 인식에 사용됩니다. 24시간 내내 AR 안경을 착용하면 안경에 장착된 카메라와 센서가 너무 오랫동안 작동하여 주변 사람들의 불만을 야기할 수 있습니다. 카메라를 더욱 은폐되게 보이도록 하기 위해 애플은 특허(US20190353836A1)에서 적외선 투과 단방향 미러 코팅을 제안했는데, 그 원리는 경찰 심문실에서 일반적으로 사용되는 단방향 미러 코팅과 유사하다. 적외선을 통과할 수 있으므로(SLAM 위치에 영향을 주지 않음) 외부에서 내부 카메라를 볼 수 없습니다.

◎ 케이스의 넓은 면적 터치 컨트롤

특허 번호 US20210089150A1에서 Apple은 유연한 외부 제어를 지원하기 위해 센서, 슬라이더 버튼, 손잡이 및 기타 작동 방법을 갖춘 것이 특징인 대면적 터치 지원 AR/VR 헤드 장착 디스플레이 하우징 디자인을 제안했습니다.

다른 특허에서 Apple은 AR/VR 헤드셋의 제품 미적 디자인을 최적화하기 위해 육안으로 쉽게 눈에 띄지 않는 일종의 "보이지 않는" 버튼과 터치 슬라이더 솔루션을 언급하기도 했습니다.

◎ AR 헤드 디스플레이 박스

Apple은 여러 특허에서 플러그인 AR/VR 헤드 디스플레이 박스 디자인을 제안했습니다. 휴대폰을 렌즈 프레임에 직접 삽입하여 사용자 눈앞에 콘텐츠를 표시할 수 있는 것이 특징입니다. 안경다리에는 AR/VR 인터페이스 작동을 위한 터치 센서도 장착할 수 있습니다. 2022년 업데이트된 특허(US11258891B2)에는 AR(VST 모드)/VR 모드 전환 지원이라는 새로운 기능도 추가되었습니다.

AR/VR 통합 헤드셋에 비해 헤드셋 박스의 장점은 가격이 저렴하고, 기존 아이폰을 유연하게 사용할 수 있으며, 휴대폰 시청 시 프라이버시도 보호할 수 있다는 것입니다. 하지만 일련의 폭로로 미루어 볼 때 애플은 당분간 이런 제품을 출시하지 않을 것으로 보인다.

◎ 모듈형 AR 안경

2020년에 공개된 특허에서 Apple은 고도로 모듈화되어 교체 및 분해가 가능한 렌즈, 프레임 및 기타 부품이 특징인 비교적 진보된 AR 안경 제품 디자인을 고안했습니다. 예를 들어 다양한 필요에 따라 교체할 수 있습니다. 고해상도 디스플레이 모듈, 오래 지속되는 배터리, 소형 구성 요소 등과 같은 다양한 구성 요소. AR 안경 프레임과 템플은 플러그인 장붓구멍과 장부 구조를 채택해 사용자가 추가적인 도구의 도움 없이 완전한 AR 안경을 스스로 조립할 수 있다는 점은 주목할 만하다. 이 게임 플레이는 Apple Watch의 교체 가능한 스트랩 메커니즘과 유사하여 사용자가 제품을 개인화할 수 있습니다.

◎ 구성 및 확장 가능한 AR/VR 오디오 시스템 (No. US20200089008A1)

헤드폰의 이어컵은 변형 가능한 폼 소재로 만들어졌으며, 팽창 및 수축을 통해 소음 감소 모드와 침투 모드 사이를 전환하여 오디오 모드를 변경할 수 있습니다. VR 장면에서는 몰입형 오디오(소음 감소 모드)로 빠르게 전환할 수 있지만, AR 장면에서는 골전도 원리를 통해 소리를 재생하는 개방형 오디오로 변경됩니다.

◎ 렌즈 보호 모드

Apple 엔지니어들은 2019년 12월에 공개된 특허에서 낙하 충격으로 인해 AR 안경 렌즈가 부서지는 것을 방지하는 보호 메커니즘을 구상했습니다. 이 솔루션은 센서를 통해 AR 안경의 상태를 감지할 수 있으며, 안경이 자유낙하하여 부딪히면 광학계의 보호 모드가 활성화됩니다. 즉, 해당 렌즈가 이동하고 공기나 특수 액체가 채워집니다. 렌즈 사이에 버퍼를 형성하여 충돌로 인한 우발적인 손실을 줄입니다.

특허 번호 US20210302745A1에서 Apple은 낙하, 충돌 등이 감지되면 자동으로 내부 구성 요소의 정렬 불량을 감지하고 자동으로 위치 보정을 수행하여 기본값을 복원하는 광학 모듈 자체 테스트 시스템을 제안했습니다.

흥미롭게도 Apple은 또 다른 특허(US11340466B2)에서 충격 시 완충 역할을 할 수 있는 변형 가능한 템플이 특징인 탄성 프레임 디자인을 제안하여 광 도파관과 같은 광 모듈이 변형되는 것을 방지했습니다.

◎ 헤드셋 스트랩 최적화

No. US20190072772A1: 일반적으로 AR/VR 헤드셋을 착용하기 전에 사용자의 머리 모양에 맞게 스트랩을 조정해야 합니다. 이는 휴대폰처럼 사용할 수 없습니다. 여러 사람이 AR/VR 헤드셋을 공유하는 경우 모든 사람이 스트랩을 조정해야 하므로 번거로울 수 있습니다.

헤드셋 착용 과정을 단순화하기 위해 Apple은 특허에서 기계식 끈 시스템을 설명합니다. 이 시스템은 사용자 머리의 매개변수를 인식하고 크기에 자동으로 적응하는 것이 특징입니다. 사용자가 움직일 필요가 없는 콘텐츠(예: 영화 감상) 스트랩이 이완됩니다.

또한 Apple은 유연한 스트랩과 자석 모듈이 결합된 접이식 헤드밴드 시스템(US11320659B1)도 특허로 제안했습니다. 이 시스템은 보관이 용이하고 모듈식 확장(예: 카메라, 배터리, 스피커 및 기타 구성 요소)을 지원합니다. 헤드밴드에 부착되어 있습니다.)

텐, UX 디자인

◎ 액티브 쿨링 시스템

No. US20190075689A1: Quest 2는 열 방출 효율을 높이기 위해 팬을 사용하여 열을 적극적으로 방출했습니다. 이와 대조적으로 Apple의 특허에 설명된 솔루션은 통풍이 더 잘되고 헤드셋 상단과 하단에 두 개의 팬이 있어 내부 부품을 냉각시키기 위해 상단과 하단 대류를 달성하는 것이 특징입니다.

또한 팬 시스템은 렌더링 작업에 따라 강도를 동적으로 조정할 수 있으며, 얼굴에 바람을 불어 피부를 식힐 수도 있습니다.

Apple은 2022년 특허에서 냉각 시스템의 소음을 식별하고 팬 속도를 실시간으로 조정하여 소음을 줄여 사용자와 통화를 방해하지 않도록 하는 팬 소음 제어 시스템을 추가로 제안했습니다. , Siri 음성 지원 통신. 흥미롭게도 팬 볼륨을 높여 사용자에게 주변에 장애물이 있음을 알릴 수도 있습니다.

◎ 광학 부품 자체 세척

AR/VR 헤드셋은 일반적으로 정밀 광학 구조를 기반으로 하고 있기 때문에 렌즈와 디스플레이 화면 사이에 먼지나 이물질이 들어가면 광원의 확산을 방해하여 디스플레이 효과에 영향을 미칠 수 있습니다. 그러나 광학 부품은 일반적으로 분해하기 어렵고 수동으로 청소하기 어렵습니다. 그래서 애플은 2021년 공개한 특허에서 셀프 클리닝 광학 솔루션을 지적했다. 개념은 간단하다. 주로 광학 품질을 감지해 문제가 발생하면 먼지 입자를 털어내 휴대폰을 안전하게 제거하는 방식이다. 사용자의 시야.

◎ 얼굴 적응 시스템

No. US20200081259A1: Apple은 수납식 소재, 팽창성 소재, 탄성 고무 소재를 사용하는 것이 특징인 모듈형 헤드 마운트 디스플레이 안면 지지 시스템을 제안했습니다. 장점은 다양한 사람의 안면 구조에 따라 조정될 수 있다는 것입니다. (이마, 볼), 관자놀이) 조정으로, 헤드셋의 흔들림으로 인해 마스크가 어긋나더라도 핏을 조정하여 편안함을 향상시킬 수 있습니다.

◎ 기기 간 인증 및 잠금 해제

Apple은 "인증 장치 지원 사용자 인증"(US10893412B2)이라는 특허에서 사용자가 AR/VR 헤드셋을 착용하여 iPhone을 직접 잠금 해제할 수 있는 다중 장치 근처 인증 솔루션을 지적했습니다. 이를 통해 Steps를 반복적으로 착용할 필요가 없습니다. 헤드셋을 벗고 전화기의 잠금을 해제하세요. 이 교차 장치 연결 디자인은 Apple Watch에 채택되어 iPhone 또는 Mac 컴퓨터의 잠금을 빠르게 해제할 수 있습니다. 잠금 해제 기능을 사용하는 것 외에도 헤드마운트 디스플레이를 사용하여 휴대폰 등의 장치를 잠글 수도 있고 2단계 인증 메커니즘을 설정할 수도 있습니다.

US20210105614A1이라는 또 다른 특허에서 Apple은 유사한 다중 장치 인증 및 잠금 해제 시스템을 언급했습니다. 이를 통해 사용자는 AR/VR 헤드셋을 사용하여 근처 Apple 장치의 잠금을 해제할 수 있습니다.

◎ 강화된 퓨전 디스플레이

No. US10347050B1, Apple은 디스플레이 효과를 높이기 위해 AR을 사용하여 이미지를 왜곡하는 솔루션을 제안했습니다. 그 특징은 AR을 사용하여 사용자의 시각적 사각지대를 식별하여 원래의 콘텐츠를 허용하는 것입니다. 사용자에게는 보이지 않으며 어떤 형태로든 볼 수도 있습니다. 이 솔루션은 시선 추적 기술을 기반으로 하며 주변 장면을 캡처하려면 3D 깊이 인식을 사용해야 합니다.

◎ 헤드셋 무선 유도 충전

특허번호 US20200081490A1에서 Apple은 AR/VR 헤드셋에 적합한 유도형 충전 스탠드를 제안했습니다. 헤드셋을 직접 걸어 디스플레이할 수도 있고, 배터리를 분리하여 스탠드에 올려 충전할 수도 있는 것이 특징입니다. 이 디자인의 장점은 헤드 디스플레이의 아름다운 보관과 디스플레이를 구현할 수 있으며, 헤드 디스플레이를 사용하지 않을 때는 충전이 가능해 사용자가 언제든지 휴대하고 사용할 수 있다는 점이다.

◎ 에어플레이

Apple은 다수의 특허에서 AR/VR 헤드셋을 컴퓨터, 노트북, TV와 연결하는 솔루션을 제안한 바 있습니다. 헤드셋 내 다른 주변 기기의 화면을 빠르게 동기화할 수 있는 기존 AirPlay 기능과 개념이 유사합니다. 비디오, 문서 로드, 이메일 등).

◎ 밀리미터파 통신 시스템

2020년 특허에서 Apple은 밀리미터파 기지국 및 다중 중계 기지국을 통해 전자 장치와 대규모 무선 통신을 달성하는 것이 특징인 밀리미터파 기반의 다자간 상호 작용 솔루션을 제안했습니다. AR/VR 헤드셋 등

일레븐, 활용 시나리오

일부 특허에서 Apple은 몰입형 영화 감상, AR 내비게이션, AR 화상 통화 시스템 등 AR/VR의 다양한 응용 시나리오를 심도 있게 논의했습니다.

◎ AR 통화 (특허번호 20160344972)

카메라 캡처 및 3D 모델 생성을 기반으로 몰입형 원격 AR 통화를 구현하는 데 사용됩니다. 이 솔루션은 아이패드, 애플TV 등의 기기에서 사용할 수 있으며, 발신자와 발신자가 들고 있는 물건을 캡처해 가상 형태로 영상으로 보여줄 수 있는 것이 특징이다.

또한 RGB 이미지 센서, 깊이 센서, IR 센서 등이 장착된 외부 카메라와 결합되어 공중 제스처를 인식하고 메뉴 제어를 단순화할 수 있습니다.

◎ 가상 비서

이 기능은 상황을 인식하여 컴퓨터를 사용하여 프롬프트, 탐색 및 사용자의 AR/VR 사용을 지원하는 추가 정보 표시를 위한 문자나 이미지를 생성합니다. 시각적 지원 외에도 가상 비서는 음성 상호 작용도 지원합니다.

◎ AR 내비게이션

No. US20170213393A1: Apple의 AR/VR 헤드셋은 실제 장면의 건물에 대한 추가 정보, 관심 지점을 표시하거나 AR을 사용하여 자동차의 스피커 및 기타 기능을 표시하는 등 시각적 탐색을 지원할 수 있습니다. 또한 제스처 상호작용도 지원됩니다. 이번 특허는 메타이오의 기술에서 나온 것으로, 메타이오는 AR 내비게이션 솔루션 외에도 AR 환경 인식(3D 환경 캡처, 날씨, 시간, 좌표 등의 데이터 인식)에 대한 특허도 출원했다.

애플은 2018년 또 다른 특허에서 여러 각도에서 볼 수 있는 3D AR 지도 솔루션을 제안하기도 했습니다.

◎ AR 스포츠 중계

No. US20200175275A1: 스포츠 경기 방송에 대화형 AR 콘텐츠를 추가하여 시청 경험을 풍부하게 만드세요. 이 솔루션의 특징은 청중의 관심 지점을 감지하고 이를 기반으로 추가 정보를 표시하기 위해 외부 장치의 사용이 필요하다는 것입니다. 예를 들어, 농구 선수의 신발에 관심이 있으면 시스템이 해당 신발에 대한 정보를 표시합니다. 운동화 모델은 AR 형태로도 구현돼 시청자들이 다양한 각도에서 볼 수 있다.

◎ 저지연 크로마 키잉

Zoom과 같은 비디오 소프트웨어는 이미 배경 교체 기능을 지원하고 있으며, VST 혼합 현실 헤드셋에서는 앞에 있는 사람과 사물을 실제 배경 스타일로 실제 가상 배경으로 바꾸는 등 배경 교체도 잘 적용할 수 있습니다. 시간. Apple의 특허 솔루션은 3차원에 더 가깝고 2D 이미지가 아닌 3D 배경을 표현할 수 있다는 점에서 일반적인 배경 교체 솔루션과 다릅니다.

◎ 컴퓨터와 협업

일부 특허에서 Apple은 Mac 컴퓨터에서 가상 화면을 사용하여 컴퓨터 화면의 표시 영역을 확장하거나 컴퓨터 화면 콘텐츠를 머리에 장착하여 표시하는 등 사무실 시나리오에서 AR/VR을 적용하는 것을 언급했습니다. 사용자 개인 정보를 보호하고 화면 스누핑을 방지합니다.

◎ AR/VR 헤드 디스플레이에 연결된 휴대폰 등 (No. US20190065027A1)

터치 패드, 터치 버튼 및 디스플레이가 있는 휴대폰과 같은 장치를 사용하여 AR/VR 헤드셋에 표시되는 콘텐츠를 제어하는 ​​특정 분할 터치 상호 작용 솔루션에 대해 설명합니다. 즉, iPhone을 AR/VR 헤드셋의 컨트롤러로 사용하는 것은 제스처 및 컨트롤러 외에 또 다른 상호 작용 방법으로 볼 수 있으며 Apple의 장치 제품군과 잘 통합될 수 있습니다.

◎ 360° 비디오 인코딩/디코딩 기술

특허번호 20190004414는 적응형 해상도와 프로젝션 포맷을 명시하고 있으며, 영상 효과에 따라 프레임 삽입 여부를 선택할 수 있어 360° 및 MR 영상의 렌더링 품질이 향상됩니다.

우리가 이러한 특허를 갖고 있기는 하지만 이는 Apple의 XR 장치 개발의 작은 부분만을 공개하므로 최종 모양과 기능이 어떻게 될지 결정할 방법이 없습니다. 이 기사는 단지 시작점일 뿐이며 이러한 특허를 통해 몇 가지 단서와 영감을 제공합니다. Apple의 XR 장치는 아직 발표되지 않았으며 WWDC23에서 이를 엿볼 수 있기를 기대합니다.