Un brevet Microsoft propose une solution de surveillance de la source lumineuse pour les interférences d'étalonnage des projections lumineuses AR/VR

(Nweon, 24 août 2023) Les équipements XR comprennent généralement un projecteur gauche couplé au trajet du faisceau gauche et un projecteur droit couplé au trajet du faisceau droit. Le projecteur gauche est configuré pour générer une image gauche, puis propager l'image gauche à travers le trajet du faisceau gauche jusqu'à l'œil gauche de l'utilisateur. Le projecteur approprié est configuré pour générer l'image correcte, qui traverse ensuite le chemin de faisceau correct jusqu'à l'œil droit de l'utilisateur.

La structure de cet appareil XR peut changer en raison d'une utilisation régulière, de changements de température et/ou de chocs. Lorsque la structure du périphérique R change, l'image peut perdre son axe visuel et être mal alignée. Ce problème peut devenir grave dans les appareils en forme de lunettes.

Il existe des appareils XR configurés pour projeter une image d'étalonnage et utiliser l'image d'étalonnage pour déterminer si le moniteur est correctement positionné. L’image de calibrage étant visible par l’utilisateur, l’expérience utilisateur est souvent perturbée par les opérations de calibrage/correction.

Dans la demande de brevet intitulée « Surveillance de la position et de l'orientation d'un projecteur », Microsoft propose d'utiliser une source de lumière de surveillance (telle qu'une diode laser ou un réseau de diodes laser) pour générer un faisceau de surveillance permettant de surveiller la position et la direction du projecteur, résolvant ainsi les problèmes ci-dessus.

Le projecteur dispose d'un modulateur de lumière spatiale réfléchissant. Le faisceau de surveillance est dirigé vers la caméra de surveillance pour obtenir un retour direct, qui peut ensuite être utilisé pour corriger les changements de vue axiale du dispositif XR. Dans un mode de réalisation, une seule caméra est configurée pour combiner des images provenant des projecteurs des yeux gauche et droit et réduire les erreurs dans cette mesure.

Dans un mode de réalisation, la source de lumière du moniteur peut être une ou plusieurs diodes émettrices de bord ou une ou plusieurs diodes laser VECSEL à cavité externe verticale émettant par la surface avec une bande de longueur d'onde très étroite. Dans un mode de réalisation, la source lumineuse du moniteur est un ensemble de diodes émettrices de bord ou diodes VECSEL configurées pour projeter un ensemble de points.

Il est avantageux d'utiliser un faisceau laser avec une bande de longueur d'onde très étroite comme faisceau de surveillance, car une telle bande de longueur d'onde laser peut être sélectionnée pour être invisible pour l'utilisateur, ou différente du faisceau d'éclairage (faisceau visible), de sorte que le le faisceau de surveillance peut être filtré du faisceau d'éclairage. De plus, la puissance optique du laser peut être réglée pour être supérieure à la lumière d'éclairage elle-même, surmontant ainsi le problème du rapport signal/bruit des caméras de surveillance. Dans le même temps, une bande de longueurs d’onde aussi étroite peut être utilisée pour des caméras de surveillance très compactes basées sur des objectifs de phase.

Dans un mode de réalisation, le faisceau du moniteur est modulé par un modulateur spatial réfléchissant de lumière du projecteur avant de se propager à travers le trajet du faisceau du moniteur pour produire l'image du moniteur. En variante, le faisceau de contrôle n'est pas modulé par le modulateur de lumière spatiale réfléchissant du projecteur avant de se propager à travers le trajet du faisceau de contrôle pour générer une image de contrôle, et la caméra de contrôle peut comprendre un détecteur à diode quadrant, une caméra et/ou une caméra sans objectif.

Dans un mode de réalisation, le faisceau du moniteur est dirigé vers un chemin de faisceau différent de celui du projecteur, ce qui améliore encore le signal par rapport au bruit au niveau de la caméra du moniteur. De plus, un chemin de faisceau dédié pour le signal du moniteur, distinct du signal du projecteur, offre à l'utilisateur final une sécurité laser car il n'y a aucun chemin pour le diriger vers les yeux de l'utilisateur.

La caméra de surveillance peut mesurer la pose des images gauche et droite ou les changements dans les deux images et surveiller les corrections appliquées. Les projecteurs sont disponibles dans un certain nombre de modèles différents. L'intégration du faisceau de surveillance et du faisceau d'éclairage peut provenir du même côté, ou peut provenir de côtés différents et être combinée par un combineur de faisceaux, par exemple un combineur de faisceaux dichroïque.

La figure 1A montre un exemple d'architecture d'un système de projection 100A qui met en œuvre les principes décrits ici. Le système de projection 100A comprend une source de lumière d'éclairage 110, une source de lumière de moniteur 120 et un projecteur 140. La source de lumière d'éclairage 110 est configurée pour émettre un faisceau d'éclairage 112A vers le projecteur 140, et la source de lumière de surveillance 120 est configurée pour émettre un faisceau de surveillance 122A vers le projecteur 140.

Dans un mode de réalisation, le projecteur 140 comprend un modulateur spatial réfléchissant de lumière 142 configuré pour moduler les faisceaux 112A et 122A afin de produire la sortie 144A du projecteur 140. La sortie 144A du projecteur 140 est un faisceau combiné projeté 144A, qui comprend un faisceau d'éclairage projeté 1441 et un faisceau de surveillance projeté 144M.

Ensuite, le faisceau d'éclairage projeté 1441 est dirigé vers le trajet du faisceau d'éclairage 152 dirigé vers l'œil de l'utilisateur 160, de sorte que l'œil de l'utilisateur 160 voit l'image d'affichage correspondant au faisceau d'éclairage 112A.

Le faisceau de surveillance projeté 144M pointe vers la caméra de surveillance 170, de sorte que la caméra de surveillance 170 capture une image de surveillance correspondant au faisceau de surveillance 122A.

Étant donné que le faisceau d'éclairage 112A et le faisceau de surveillance 122A sont projetés à travers le projecteur 140, l'image de surveillance capturée par la caméra de surveillance 170 peut être utilisée pour déterminer la direction ou la position de l'image de surveillance.

Dans un mode de réalisation, la source de lumière d'éclairage 110 est configurée pour émettre un faisceau d'une première bande de longueur d'onde, tel qu'un faisceau visible rouge, vert et bleu (RVB), comprenant un faisceau de lumière rouge, un faisceau de lumière verte, un faisceau de lumière bleue. faisceau lumineux, ou une combinaison de ceux-ci. La source de lumière de surveillance 120 est configurée pour émettre un faisceau lumineux d'une seconde bande de longueur d'onde, telle qu'une lumière invisible, de sorte que l'image générée par la source de lumière de surveillance soit détectable uniquement par la caméra de surveillance 170 mais soit invisible aux yeux humains.

Dans un mode de réalisation, le trajet du faisceau d'éclairage 152 est configuré pour propager la lumière dans une première bande de longueur d'onde et le trajet du faisceau de surveillance 154 est configuré pour propager la lumière dans une deuxième bande de longueur d'onde. De cette manière, le faisceau combiné projeté 144A est divisé en le trajet du faisceau d'éclairage 152 et le trajet du faisceau de surveillance 154.

Dans un mode de réalisation, un filtre est disposé avant le trajet du faisceau d'éclairage 152 pour filtrer le faisceau de la deuxième longueur d'onde, de sorte que seul le faisceau de la première bande de longueur d'onde se propage sur le trajet du faisceau d'éclairage 152. De plus, un filtre est disposé avant le trajet de faisceau de contrôle 154 pour filtrer le faisceau de la première longueur d'onde, de sorte que seul le faisceau de contrôle dans la deuxième bande de longueur d'onde se propage sur le trajet de faisceau de contrôle 154.

Étant donné que le faisceau de surveillance 112A est dirigé sur un chemin différent de celui du faisceau d'éclairage, il améliore encore le rapport signal/bruit au niveau de la caméra de surveillance 170. Dans un mode de réalisation, la puissance du faisceau de surveillance est supérieure à la puissance du faisceau d'éclairage, de sorte que le rapport signal sur bruit est encore amélioré pour permettre à l'image de surveillance d'être reconnue au niveau de la caméra 170.

Dans un mode de réalisation, la source de lumière d'éclairage 110 est configurée pour émettre un faisceau d'éclairage dans une première direction, et la source de lumière de surveillance 120 est configurée pour émettre un faisceau de surveillance dans une seconde direction coupant la première direction. Le faisceau d'éclairage et le faisceau de surveillance se croisent au niveau d'une première position du projecteur et sont émis au niveau de deux positions indépendantes du projecteur, à savoir une deuxième position et une troisième position.

Le faisceau de sortie se propage ensuite dans différentes directions. Le faisceau d'éclairage projeté se déplace dans une première direction vers les yeux de l'utilisateur, et le faisceau de moniteur projeté se déplace dans une seconde direction vers la caméra de contrôle.

Alternativement, dans un mode de réalisation, un combineur de faisceaux peut être utilisé pour combiner la lumière d'éclairage et la lumière du moniteur en un faisceau combiné dirigé vers le projecteur 140.

La figure 1B montre un exemple de structure d'un système de projection 100B. Le système de projection 100B comprend un combineur de faisceaux 130 configuré pour combiner la lumière d'éclairage 112B et le faisceau de surveillance 122B en un faisceau combiné 132 dirigé vers le projecteur 140. Le projecteur 140 est configuré pour projeter le faisceau combiné 132 dans le faisceau combiné projeté 144B. Semblable au faisceau combiné projeté 144A sur la figure 1A, le faisceau combiné projeté 144B est divisé et propagé sur deux trajets de faisceau différents 152, 154.

Le système de projection 100A ou 100B tel qu'illustré sur la figure 1A ou 1B peut être mis en œuvre dans un projecteur portable et/ou un visiocasque (tel qu'un appareil VR/AR), permettant au projecteur portable et/ou au visiocasque de auto-surveiller et/ou ajuster son alignement axial. Il convient de noter que lorsqu'ils sont mis en œuvre dans un visiocasque, deux de ces systèmes de projection peuvent être mis en œuvre, un pour l'œil gauche et un autre pour l'œil droit.

Les figures 2A et 2B montrent des vues de face et de dessus d'un exemple de visiocasque 200 mettant en œuvre un système de projection gauche 200L et un système de projection droit 200R, dont chacun correspond au système de projection 100A ou 100B de la figure 1A ou 1B. Comme illustré, le système de projection gauche 200L comprend une source de lumière d'éclairage 210L et une source de lumière de surveillance 220. Dans un mode de réalisation, le système de projection gauche 200L comprend également un combineur de faisceaux 230L.

En référence à la figure 2B, la source de lumière d'éclairage 210L est configurée pour émettre un faisceau d'éclairage 212L, et la source de lumière de surveillance 220L est configurée pour émettre un faisceau de surveillance 222L. Le combineur de faisceaux 230L est configuré pour combiner le faisceau d'éclairage 212L et le faisceau de surveillance 222L en un faisceau combiné 232L, qui est ensuite projeté dans un faisceau combiné de projection 242L par le projecteur 240L.

En référence à la figure 2A, le visiocasque 200 comprend à la fois un trajet de faisceau d'éclairage 252L (correspondant au trajet de faisceau d'éclairage 152 de la figure 1A ou 1B) et un trajet de faisceau de surveillance 254L (correspondant au trajet de faisceau de surveillance 154 de la figure 1A ou 1B). 1B).

La première partie du faisceau combiné projeté se propage vers l'œil de l'utilisateur (non représenté) via le trajet du faisceau d'éclairage 252L, et la deuxième partie du faisceau combiné projeté se propage vers la caméra 270 via le trajet du faisceau du moniteur 254L.

La première partie du faisceau combiné projeté comprend au moins une partie du faisceau d'éclairage projeté par le projecteur 240L, permettant aux yeux de l'utilisateur de voir une image d'affichage correspondant au faisceau d'éclairage. La deuxième partie du faisceau combiné projeté comprend au moins une partie du premier faisceau de contrôle projeté par le projecteur 240L.

En nous référant à nouveau à la figure 2B, les deux trajets de faisceaux de surveillance 254L et 256L comprennent un combineur de faisceaux 260 configuré pour combiner les deux faisceaux de surveillance en un faisceau de surveillance combiné 262. Le faisceau de surveillance combiné 262 se propage ensuite dans la caméra de surveillance 270.

La caméra de surveillance 270 est configurée pour recevoir la deuxième partie du faisceau combiné projeté et capturer une image de surveillance correspondant au faisceau de surveillance projeté par le projecteur 240L.

Ensuite, analysez l’image du moniteur pour déterminer l’orientation ou la position de l’image du moniteur. Dans le cas où l'orientation ou la position de l'image du moniteur est déterminée comme étant incorrecte, l'orientation ou la position du projecteur 240L est ajustée. Par exemple, dans un mode de réalisation, les données d'image associées à l'image d'éclairage sont transformées de telle sorte que l'image d'éclairage pivote d'un angle spécifique en fonction de l'orientation de l'image du moniteur.

Comme autre exemple, les données d'image associées à l'image d'éclairage peuvent être transformées pour provoquer le déplacement, l'agrandissement et/ou la réduction de l'image d'éclairage.

Dans un mode de réalisation, la source de lumière d'éclairage 210L est configurée pour émettre un faisceau lumineux d'une première bande de longueur d'onde, telle que la lumière visible, et la source de lumière de surveillance 220L est configurée pour émettre un faisceau lumineux d'une seconde bande de longueur d'onde, telle que la lumière invisible. lumière, de sorte que l'image générée par la source de lumière de surveillance soit uniquement destinée à la caméra de surveillance 270, mais non visible pour l'utilisateur.

Dans un mode de réalisation, la puissance du faisceau de surveillance est supérieure à la puissance du faisceau d'éclairage, de sorte que l'image de surveillance capturée par la caméra de surveillance 270 présente un rapport signal/bruit suffisant pour permettre l'identification de l'image de surveillance.

Dans un mode de réalisation, le trajet du faisceau d'éclairage 252L est configuré pour propager la lumière dans une première bande de longueurs d'onde et le trajet du faisceau de surveillance 254L est configuré pour propager la lumière dans une deuxième bande de longueur d'onde. Par conséquent, le faisceau combiné projeté est divisé en un trajet de faisceau d'éclairage 252L et un trajet de faisceau de surveillance 254L.

Dans un mode de réalisation, un filtre est disposé avant le trajet du faisceau d'éclairage 252L pour filtrer le faisceau de la deuxième longueur d'onde, de sorte que seul le faisceau de la première bande de longueur d'onde se propage sur le trajet du faisceau d'éclairage 252L. De plus, un filtre est disposé avant le trajet de faisceau de contrôle 254L pour filtrer le faisceau de la première longueur d'onde, de sorte que seul le faisceau de contrôle dans la seconde bande de longueur d'onde se propage sur le trajet de faisceau de contrôle 254L.

Dans un mode de réalisation, l'image du moniteur comprend un ensemble prédéterminé de points ou de lignes. Les figures 3A et 3B illustrent des exemples d'images de surveillance capturées par la caméra de surveillance 270.

Comme le montre la figure 3A, l'image de surveillance 300A comprend une grille composée de quatre points 302A, 304A, 306A, 308A. La grille peut être configurée pour propager la première bande de longueur d'onde en filtrant le faisceau et/ou en utilisant le trajet du faisceau de surveillance. 254L du faisceau dans les deux bandes de longueurs d'onde est mis en œuvre.

Dans un mode de réalisation, l'image de surveillance 300A est comparée à la vue axiale 310A de la caméra de surveillance 270 pour déterminer si l'image de surveillance 330A est correctement orientée ou positionnée.

Comme le montre la figure 3B, l'image de surveillance 300B comprend une grille composée de quatre points 302B, 304B, 306B, 308B superposés sur l'image d'affichage 320B, qui peut être obtenue en ne filtrant pas le faisceau lumineux dans la première bande de longueur d'onde, ou utilisant une configuration résultant du trajet du faisceau propageant le faisceau dans la première bande de longueur d'onde et la deuxième bande de longueur d'onde.

De plus, l'image de surveillance 300B peut être comparée au diamètre intérieur 310B de la caméra de surveillance 270 pour déterminer si l'image de surveillance 300B est correctement orientée ou positionnée. Dans un mode de réalisation, la puissance des faisceaux de surveillance 222L, 222R est supérieure (ou significativement supérieure) à la puissance des faisceaux d'éclairage 212L, 212R, augmentant ainsi encore le rapport signal sur bruit pour permettre la reconnaissance de l'image de surveillance.

Revenant aux figures 2A-2B, le visiocasque 200 comprend simultanément une deuxième source de lumière d'éclairage 210R, une deuxième source de lumière de moniteur 220R, un deuxième combineur de faisceaux 230R, un deuxième chemin de faisceau d'éclairage 252R et un deuxième chemin de faisceau de moniteur 254R. , la première source de lumière de contrôle 220L, le premier combineur de faisceaux 230L, le premier trajet de faisceau d'éclairage 252L et le premier trajet de faisceau de contrôle 254L. Le premier groupe d'éléments 210L, 220L, 230L, 240L et le deuxième groupe d'éléments 210R, 220R, 230R, 240R sont disposés symétriquement sur les côtés gauche et droit du visiocasque 200.

Le premier ensemble de composants 210L, 220L, 230L, 240L est configuré pour projeter la première image sur le premier œil de l'utilisateur, et le deuxième ensemble de composants 210R, 220R, 230R, 240R est configuré pour projeter la deuxième image sur le deuxième œil de l'utilisateur. oeil. Deux images.

Dans un mode de réalisation, la caméra de surveillance 270 est configurée pour recevoir une partie du premier faisceau combiné projeté du premier chemin de faisceau de surveillance 254L et/ou une partie du deuxième faisceau combiné projeté du deuxième chemin de faisceau de surveillance 254R. La caméra de surveillance 270 est configurée pour capturer une première image de surveillance sur la base d'un premier faisceau lumineux reçu du premier trajet de faisceau de surveillance 254L, et/ou pour capturer une première image de surveillance sur la base d'un second faisceau lumineux reçu du second trajet de faisceau de surveillance 254R. . 2. Images de surveillance.

Dans un mode de réalisation, la première image de surveillance ou la deuxième image de surveillance sont analysées respectivement pour déterminer si chacune de la première image de surveillance ou de la deuxième image de surveillance est correctement orientée ou positionnée. La caméra de surveillance 270 est configurée pour capturer la première image de surveillance et la seconde image de surveillance qui se chevauchent. La première image de moniteur est comparée à la seconde image de moniteur pour déterminer si l'endovision relative des deux yeux est alignée.

Dans un mode de réalisation, mettez en œuvre des caméras de surveillance distinctes pour chaque système de projection. Par exemple, le visiocasque comprend une première caméra de surveillance configurée pour capturer une première image de surveillance provenant d'un premier projecteur, et une seconde caméra de surveillance configurée pour capturer une seconde image de surveillance provenant d'un second projecteur. Les première et seconde images de surveillance capturées peuvent ensuite être comparées aux diamètres internes respectifs des première et seconde caméras, ou entre elles pour déterminer les diamètres internes relatifs l'un de l'autre.

Les figures 4A et 4B illustrent des exemples d'images 400A, 400B capturées par la caméra de surveillance 270, où une première image de surveillance (reçue du premier trajet de faisceau de surveillance 254L) et une deuxième image de surveillance (reçue du deuxième trajet de faisceau de surveillance 254R) sur les uns au-dessus des autres.

Comme le montre la figure 4A, l'image 400A capturée par la caméra de surveillance 270 comprend une première image de surveillance d'une première grille comportant quatre points 402A, 404A, 406A, 408A. La seconde image de contrôle comporte une seconde grille constituée de quatre points 412A, 414A, 416A, 418A. La première image de surveillance et la seconde image de surveillance sont superposées l'une sur l'autre.

Comme le montre la figure 4A, les premiers points de grille 402A, 404A, 406A et 408A ne sont pas alignés avec les seconds points de grille 412A, 414A, 416A et 418A, ce qui indique qu'ils ne sont pas alignés avec les axes visuels relatifs des deux. yeux.

Dans un mode de réalisation, pour déterminer le désalignement axial relatif des deux yeux, le visiocasque 200 est configuré pour ajuster le premier projecteur ou le deuxième projecteur (ou la première image d'éclairage et/ou la deuxième image d'éclairage), de sorte que le l'axe relatif est aligné.

La figure 4B montre un exemple d'image 400B capturée par la caméra de surveillance 270, comprenant une première image d'affichage 410B, une première image de surveillance d'une première grille à quatre points 402B, 404B, 406B, 408B et une deuxième image d'affichage 420B. et une deuxième image de surveillance avec une deuxième grille de quatre points 412B, 414B, 416B, 418B.

La première image d'affichage 410B, la première image de surveillance, la deuxième image d'affichage 420B et la deuxième image de surveillance sont superposées les unes aux autres. Dans un mode de réalisation, l'image superposée 400B est ensuite traitée pour extraire la première image de surveillance et/ou la seconde image de surveillance. La première image de surveillance et/ou la seconde image de surveillance extraites sont ensuite analysées pour déterminer si l'image de surveillance et/ou la seconde image de surveillance sont correctement orientées ou positionnées.

La figure 8 montre un organigramme d'un exemple de méthode 800 mis en œuvre dans un visiocasque. Le procédé 800 consiste à capturer une première image de surveillance à partir d'un premier projecteur (acte 810) et à capturer une seconde image de surveillance à partir d'un deuxième projecteur (acte 820).

act810, l'obtention de la première image de moniteur à partir du premier projecteur est effectuée par le premier système de projection, et le système de projection comprend une première source de lumière d'éclairage, une première source de lumière de moniteur, un premier trajet de faisceau, un second trajet de faisceau et une caméra.

act810, émettant le premier faisceau d'éclairage à partir de la première source de lumière d'éclairage (Act 710), émettant le premier faisceau de surveillance (Act 720) à partir de la première source de lumière de surveillance, et projetant le faisceau d'éclairage et le faisceau de surveillance à travers le premier projecteur vers le première projection dans le faisceau. Dans un mode de réalisation, la première source de lumière d'éclairage et la première source de lumière de moniteur sont configurées pour émettre de la lumière dans différentes directions d'intérêt l'une par rapport à l'autre, et le premier faisceau lumineux d'éclairage et le premier faisceau lumineux de moniteur sont combinés en un troisième faisceau lumineux dirigé vers le premier projecteur. Une combinaison de faisceaux.

act810 consiste simultanément à propager la première partie du premier faisceau combiné projeté vers le premier œil de l'utilisateur à travers le premier trajet de faisceau, et à propager la deuxième partie du deuxième faisceau projeté vers la caméra à travers le deuxième trajet de faisceau, puis à capturer la surveillance à travers l’image de la caméra.

act820, de la même manière, la capture de l'image du deuxième moniteur à partir du deuxième projecteur est effectuée par un deuxième système de projection, et le système de projection comprend une deuxième source de lumière d'éclairage, une deuxième source de lumière de moniteur, un troisième chemin de faisceau, un quatrième chemin de faisceau, et un appareil photo.

Dans un mode de réalisation, le premier système de projection et le deuxième système de projection partagent la même caméra. Le premier système de projection comprend une première caméra, et le second système de projection comprend une seconde caméra. La première image de surveillance et la seconde image de surveillance sont capturées en superposition l'une sur l'autre. Dans un mode de réalisation, la première image de surveillance et la seconde image de surveillance sont capturées séparément.

act830 compare ensuite la première image de surveillance et la deuxième image de surveillance entre elles pour déterminer si les vues intérieures relatives du premier projecteur et du deuxième projecteur sont alignées les unes avec les autres.

act840, en réponse à la détermination d'un désalignement d'axe relatif, ajuster l'orientation ou la position d'au moins l'un des premier ou deuxième projecteurs. Dans un mode de réalisation, en réponse à la détermination de l'alignement des vues axiales relatives, le système de projection peut répéter à nouveau les actions 810 à 830 à un moment prédéterminé et/ou à une fréquence prédéterminée sur la base de l'entrée de l'utilisateur.

Dans un mode de réalisation, le faisceau d'éclairage et le faisceau de surveillance ne sont ni combinés ni parallèles. Le faisceau d'éclairage et le faisceau de surveillance se croisent à l'intérieur du projecteur et ressortent en deux endroits indépendants. De tels modes de réalisation facilitent l'envoi de faisceaux d'éclairage vers les yeux de l'utilisateur et de faisceaux de surveillance vers des caméras de surveillance.

Brevets associés : Brevet Microsoft | Surveillance de la position et de l'orientation d'un projecteur

La demande de brevet Microsoft intitulée « Surveillance de la position et de l'orientation d'un projecteur » a été initialement soumise en janvier 2022 et a été récemment publiée par l'Office américain des brevets et des marques.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!