Microsoft AR/VR 特許は、ToF イメージングの動き補正方法を共有しています-AI-php.cn

(Nweon、2023 年 10 月 19 日) 飛行時間型 ToF カメラなどの深度センシングシステムを使用して、HoloLens 2 の環境の深度画像を生成できます。深度画像の各ピクセルは環境内の対応する点を表します。距離。 ToF イメージングでは、環境内のイメージング面上の点の距離は、ToF カメラからの光がその点まで移動してから ToF カメラのセンサーに戻るまでの時間の長さに依存します。

位相ベースの ToF イメージングは、物体から反射された振幅変調光の位相シフトに基づいて深さが計算される ToF イメージングの一種です。位相データ取得間の ToF カメラの移動により、フレーム内位相データが相対的にシフトする可能性があります。例えば、第１のフレーム内位相データ取得において、ピクセルは、シーン内の位置で第１の変調周波数で位相データを感知することができる。次に、次のフレーム内の位相データ取得中に、ピクセルは、第 2 の変調周波数で異なるシーンの位置で位相データを検出できます。異なる周波数での位相データは不一致になり、これをモーションブラーと呼ぶことができます。

そこでマイクロソフトは、「飛行時間型深度イメージングのための動き補正」というタイトルの特許出願で、ToF イメージングのための動き補正方法を提案しました。

これを行うために、第1の照明光変調周波数に対応するアクティブ輝度AB画像と第2の照明光変調周波数に対応するAB画像とを比較して、フレーム内二次元平行移動を決定する。フレーム内 2D 変換は、撮像されたシーンに対するカメラの推定された動きに対応します。

次に、フレーム内 2D 変換が位相データに適用され、位相画像の位置合わせと補正された位相データの形成に役立ちます。次に、補正された位相データに対して位相アンパッキングが実行され、フレーム内補正された３次元深度画像が得られる。フレーム内 2D 変換を使用して、フレーム内 AB 画像の動き補正を実行することもできます。例えば、フレーム内補正ＡＢ画像は、補正ＡＢ画像を平均することにより得ることができる。

このような例では、最初のフレームの最初の AB 画像が 2 番目のフレームの 2 番目の AB 画像と比較され、フレーム間の 2D 変換が決定されます。フレーム間変換は、フレーム間の動きの推定です。次に、フレーム間 2D 変換を最初のフレームの深度画像に適用して、フレーム間生成深度画像を形成できます。フレーム間の二次元平行移動は、フレーム内補正された AB 画像から決定できます。

さらに、カメラの動きの推定として、フレーム間の 2D 変換を出力し、さまざまな時間的後処理ルーチンやソフトウェアサービスで使用することができます。したがって、特許に記載されている実施形態は、２Ｄフレーム内ＡＢ画像データを使用して３Ｄ深度データの動きブラー補正を達成するのに役立つことができる。 2D データを使用することにより、動きブラー補正に 3D 深度データを使用する場合と比較して、比較的効率的な計算パフォーマンスでリアルタイムに動き補正を実行できます。

Microsoft AR/VR 特許は、ToF イメージングの動き補正方法を共有しています

図 2 は、ToF カメラ 202 を含む例を示しています。このうち、ＴｏＦカメラは、位相ベースのＴｏＦ深度イメージングシステム２００である。ＴｏＦカメラ２０２は、位相データを捕捉する光サンプルを取得するようにそれぞれ構成された複数のＴｏＦピクセル２０６を含むセンサーアレイ２０４、コントローラ２０８、および対物レンズシステム２１０を含む。

＃＃＃コントローラ２０８は、センサアレイ２０４のＴｏＦピクセル２０６からデータを収集および処理して、深度画像を構築するように構成されている。コントローラ２０８は、ノイズ除去および／または位相アンラッピングを実行するための実行可能命令を含むことができる。

深度撮像システム２００は、センサアレイ２０４を通る光の統合を制御するために、変調光エミッタ２３０と、センサアレイ２０４用のアナログおよび／またはデジタル変調電子シャッタ２３２の両方を含む。変調光エミッタ２３０は、ＴｏＦピクセル２０６によって検出可能な任意の周波数で電磁放射を放射するように構成され得る。

変調光は、連続的または同時に異なる周波数で変調することができ、センサーアレイ204は、変調光エミッタ230から表面220に反射されてカメラに戻る光をサンプリングするように構成される。センサアレイ２０４の各ＴｏＦ感知ピクセル２０６は、異なる時間間隔で反射光信号を積分し、それによって位相シフトを決定するための１つまたは複数のピクセルタップを含み得る。

＃＃＃変調周波数ごとに、センサアレイ２０４は、光源からの振幅変調光の複数の位相角で光をサンプリングし、変調周波数の複数の光サンプルから各変調周波数の光を決定するように制御される。位相サンプル。次に、位相サンプルをアンラップして、各ピクセルの深度値を取得できます。

変調光の周期性により、測定される合計位相は 2π ごとに繰り返されます。 n(k) は位相ベースの ToF ピクセルでは直接測定できないため、合計位相、つまり測定に関連する実際の距離はあいまいです。したがって、位相ベースの ToF イメージングでは、測定できる距離 (ブレのない範囲) が変調周波数によって制限されます。

2 つ以上の異なる変調周波数を使用して曖昧さのない範囲を拡大し、収集された位相シフトデータを分散して距離を正確に決定できます。

Microsoft AR/VR 特許は、ToF イメージングの動き補正方法を共有しています

＃＃＃図３は、複数のＫ個の変調周波数に対する例示的なＴｏＦ画像データ３００を概略的に示す。データ３００は、多周波数フレーム取得中に深度イメージングシステム２００によって取得できるデータを表す。

図示の例では、深度データには、K 個の変調周波数のそれぞれに対するデータの M×N 配列が含まれており、その結果、フレーム内深度データ 302a ～ c の M×N グリッドが得られます。各メッシュ、各ピクセル 304グリッド内の○は、Ｋ個の変調周波数のうち、対応する照明光変調周波数Ｋで得られた測定値を表す。

測定された位相は、ピクセルに関連付けられた深度値を計算するために使用されます。ただし、前述したように、位相ベースの ToF イメージングでは、測定できる距離 (ブレのない範囲) が変調周波数によって制限されます。したがって、K ≥ 2 の変調周波数 K のセットを使用して範囲を拡大することができ、位相情報を解明して距離を正確に決定できるようになります。

位相アンラッピングは、照明光の周波数ごとに距離の曖昧さが異なるため、異なる周波数の複数の振幅変調された光でシーンを照明することによって、位相シフトデータの曖昧さを解消し、正しい距離値を特定する方法です。

ただし、前述したように、ToF 深度カメラが動いている場合、位相アンラップエラーが発生する可能性があります。各周波数での深度データ取得は順次行われるため、1フレーム内では位相画像とAB画像が一旦分離される。

例えば、フレーム内位相画像306aは、フレームの先頭に向かって取得された第1の周波数f1の位相データを含むことができ、フレーム内位相画像306bは、フレームの中央に向かって取得された第2の周波数f2の位相データを含むことができる。・フレーム位相画像３０６ｂは、フレームの終わりに向かって取得された第３の周波数ｆ３位相データを含むことができる。

したがって、ToF 深度カメラがフレーム内取得の間に移動すると、3 つの異なる周波数での位相データがシフトされ、位置がずれてしまう可能性があります。位相データが一貫していない場合、位相展開でエラーが発生する可能性があります。

そこでマイクロソフトは、AB 画像データを使用して動きを推定し、2 次元の平行移動を決定するソリューションを提案しました。

同社は、深度データを使用することは可能ですが、シーン内のオブジェクト間のアクティブな明るさの違いにより、AB 画像データに基づいて 2D 変換を決定する方がより堅牢になる可能性があると述べています。その後、2D 変換を使用して位相データに対してフレーム内動き補正を実行できます。フレーム内補正された位相データに対して位相アンラップを実行すると、モーションブラーによるアンラップエラーを回避するのに役立ちます。

Microsoft AR/VR 特許は、ToF イメージングの動き補正方法を共有しています

図 4 は、位相アンラッピングの前に深度データに対してこのような補正を実行する方法の例を示しています。方法４００は、ＴｏＦ深度カメラからデータを受信するコンピューティングシステムにおいて実装され得る。

＃＃＃４０２において、多重周波数フレーム収集が実行され、複数のフレーム内位相サンプルがＴｏＦ画像センサによって収集される。フレーム内位相サンプルは、複数の照明光変調周波数（ｆ１、ｆ２、ｆ３）のそれぞれについて収集され、対応するフレーム内深度データ４０４ａ～ｃを形成する。この例では、時間矢印で示すように、最初にフレーム内奥行きデータ４０４ａが取得され、２番目にフレーム内奥行きデータ４０４ｂが取得され、３番目にフレーム内奥行きデータ４０４ｃが取得される。

＃＃＃＃４０６において、信号校正補正が実行されて、位相データ４０８およびアクティブ輝度データ４１０が取得される。上で述べたように、異なる周波数でのフレーム内深度データは、カメラの動きにより相対的にシフトされる可能性があります。したがって、方法４００は、アクティブな輝度データ４１０を比較して、動きを推定し、補正する。

ここで、フレーム内AB画像410aはフレーム内AB画像410bと比較され、第1のフレーム内二次元平行移動412が決定される。 AB1 から AB2 への 2 次元の平行移動は、[Δu, Δv]1,2 として表すことができます。ここで、Δu は x 方向のピクセル変位、Δv は y 方向のピクセル変位です。イントラ２Ｄ変換４１２は、フレーム内深度データ４０４ａとフレーム内深度データ４０４ｂの間の動きの推定である。

次に、イントラAB画像410aがイントラAB画像410cと比較され、[Δu,Δv]13として示される第2のフレーム内2D変換414が決定される。

＃＃＃一実施形態では、イントラＡＢ画像４１０ｂをイントラＡＢ画像４１０ｃと比較して、第３のフレーム内二次元平行移動を決定することができる。他の例では、任意の適切なフレーム内AB画像ペアを比較して、対応するフレーム内2D変換を決定することができる。 AB画像を比較し、変換を決定するために、任意の適切な方法を使用することができる。一例では、AB画像から特徴が抽出され、特徴マップが形成され、画像を比較するために使用される。

2D 平行移動を決定した後、決定された平行移動を使用して位相データを補正できます。図４に示される実施形態では、フレーム内二次元変換４１２が位相画像４０８ｂに適用されて位相画像を補正し、補正された位相画像４２０ｂを形成する。同様に、位相画像を補正するためにフレーム内二次元変換４１４が位相画像４０８ｃに対して実行され、補正された位相画像４２０ｃが形成される。

したがって、補正された位相データ420は、位相画像408aに対して「再調整」された位相データを表す。一例では、１つまたは複数の二次元平行移動を適用して、位相画像４０８ｂまたは４０８ｃと位置合わせされた補正位相画像を形成することができる。

＃＃＃＃４２２において、方法４００はまた、補正された位相データ４２０に対して位相アンラッピングを実行して深さ画像４２４を形成することを含む。補正された位相画像４２０ｂ、４２０ｃは位相画像４０８ａと再位置合わせできるため、４２２における位相アンラップは、動きブラー補正が無視される例よりも比較的少ないアンラップエラーを生成することができる。

＃＃＃＃したがって、方法４００は、深度画像４２４を形成するために深度データ４０４を処理する際に、より良いパフォーマンスを達成するのに役立つことができる。

さらに、フレーム内 2D 変換の適用は畳み込みを介して実行できるため、同様に畳み込みを利用する空間および時間フィルタリングプロセスと組み合わせることができます。同時に、カメラの動きの推定値として、決定されたフレーム内 2D 変換は、時間フィルター、軌道推定、動的領域推定、マッピングなどのさまざまな後処理アプリケーションに役立ちます。同様の技術を使用して、内部 AB 画像を補正し、内部補正された AB 画像を形成することができます。

＃＃＃図５を参照すると、方法５００は、フレーム内二次元変換４１２、４１４を利用して、補正されたＡＢデータ５１０を形成する。一例では、方法５００は方法４００と一緒に実行される。他の例では、方法５００は方法４００とは別に実行される。 Microsoft AR/VR 特許は、ToF イメージングの動き補正方法を共有しています＃＃＃図５に示すように、フレーム内二次元変換４１２をフレーム内ＡＢ画像４１０ｂに適用して画像を補正し、補正されたＡＢ画像５１０ｂを形成する。さらに、フレーム内二次元変換４１４がＡＢ画像４１０ｃに適用されて、補正されたＡＢ画像５１０ｃが形成される。イントラＡＢ画像４０８ａとともに、補正されたＡＢ画像５１０ｂ〜ｃは、補正されたＡＢデータ５１０を形成する。