5年に及ぶ秘密の研究開発！ Googleの3D「マジックミラー」テスト、実際の人とチャットするときに「フェイスハガー」は不要

メタバースに入るにはヘッドマウント ディスプレイのみに頼ることができますか? ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃いいえ。もう少し想像力を働かせてみましょう。

巨人 Google は、別の解決策を提示しました。それは、ヘッドマウント ディスプレイを使用する代わりに、3D の「電話ボックス」を使用することです。

#スカイプやズームに慣れている人は、初めてスターラインを見たときに間違いなく驚くでしょう。

Google は昨年、Project Starline プロジェクトを正式に発表しました。これは、3D 画像、高解像度カメラ、カスタム深度センサー、画期的なライト フィールド ディスプレイを使用したビデオ通話ブースです。

#これにより、画面の両側の発信者に非常に現実的なエクスペリエンスが作成されます。

#Google のホログラフィック ビデオ チャット プロジェクト Project Starline は 1 年後、今年後半にパートナー オフィスにプロトタイプを設置し、初期テストを完了する予定です。

裸眼 3DStarline は、Google がメタバースに配置した 2 つのチェスの駒のうちの 1 つです (もう 1 つは AR メガネです)虹彩）。

# Google は 5 年以上にわたってこのプロジェクトを準備してきました。

#2021 I/O カンファレンスで、Google は超高解像度のビデオ チャット ルームである Project Starline を正式に発表しました。

これまで、Skype やZoom などの従来のビデオ チャット ソフトウェアでは、感覚的な距離を克服できませんでした。あなたがチャットしている相手は、2D 平面内であなたの向かい側に表示されます。そして彼の声は明らかに携帯電話、タブレット、またはコンピューターからのものでした。

#このような「音と映像の分離」体験は現実ではありません。

#この「距離感」を完全になくすことはできるのでしょうか？

Google は、「Zoom を巨大な着席型ゲームセンターに変えることができるか?」という質問をし、彼らは成功しました。

# 5 年後、Google はブラック テクノロジである Starline 3D ビデオ通話テクノロジを開発しました。

#このテクノロジーには 2 つの大きなハイライトがあります。1 つは本物であること、もう 1 つは機器を着用する必要がないことです。

65 インチのライト フィールド ディスプレイと、事前に配置された 12 個のセンサーとカメラが、このようなチャット ルームを構成します。

効果はかなり現実的のようです。

そんなキャラクターのリアルな姿がカメラやセンサーで捉えられ、そのまま相手のディスプレイに表示される？

＃＃＃＃＃＃＃＃＃あまり。各カメラとセンサーの役割は、さまざまな角度からポートレートをキャプチャし、ディープラーニングを使用してリアルタイム圧縮を実行し、これらのデータを反対側に送信し、ディスプレイ画面上で 3D アバターを再構築することです。

#つまり、この電話ボックスで目にするのは、「肖像画の「復元」。

#このようにキャラクターのイメージをリアルタイムに再構築することで、お互いの感情が比類のないリアルなものになります。あたかもチャットしている相手が実際に向かいに座っているかのようです。

収集されたデータの送信は、通常のビデオ会議と同様に、WebRTC と Google 独自の圧縮アルゴリズムに基づいています。双方向にリアルタイムで3D映像を伝送することが可能です。

ビデオ チャット接続を介して 3D アバターを送信することで、Google はアイコンタクトの問題を解決できます。通常のビデオチャットでは、これが常に問題になります。これまで、モニター上の Web カメラでは、モニターを見ているときにアイコンタクトをとることができませんでしたが、3D アバターを使用すると、カメラの中心とモニターの中心との間の断絶を埋めることができ、両者の間でアイコンタクトが可能になります。

Google は、4 つの Nvidia GPU (2 つの Quadro RTX 6000 と 2 つの Titan) を備えた強力なデュアル Xeon ワークステーションでこのデータを処理しています。 RTX）。

Starline のもう 1 つの大きな特徴は、装着する必要がないことです。

はい、お聞きのとおり、VR ヘッドセットとスマート グラスは必要ありません。

#Google が以前公開したコンセプトマップでも、カメラとセンサーはテーブルの上に置かれていました。

#少し装飾すると、自分の机が目の前にあり、チャットしている相手がその向かい側に座っているかのような錯覚さえ覚えるでしょう。机。

#Google が提供する技術図によると、この機器セットにはディスプレイ、カメラ、スピーカー、マイクが含まれています。 、コンピュータの照明器および表示ユニット、および赤外線バックライトを含み、ベンチシートとして使用されるバックライトユニット。どちらのユニットにも、壁と天井に向かって角度を付けた白色 LED ストリップが含まれており、柔らかい反射光を作り出します。

ディスプレイは、65 インチ、8 K、60 Hz の自動立体レンズ パネルで、その上に等身大の裸眼 3D ビュー アバターが生成されます。

キャプチャ サブシステムは、3 つの同期された 3 次元 RGBD キャプチャ ポッドで構成されます: 2 つはモニターの上に、もう 1 つはモニターの下の「中央の壁」にあります。 。

#ポッドのさらに下には、被写体の顔にズームインするための追加のカラー カメラが含まれています。さらに、4 台のモノクロ追跡カメラのうち 2 台はディスプレイの上にあり、残りの 2 台 (両側に 1 台ずつ) は、目、耳、口の高速広角画像をキャプチャするために使用されます。

レンダリング方法は下図の通りです。

#ポッドは、前述の RGBD キャプチャ デバイスです。

#この方法でレンダリングされたキャラクターの効果は、より現実的でリアルなものになります。

#Starline には高度なサウンド システムも装備されています。

このシステムは、話者追跡ビームフォーミング、残響低減、WebRTC 送信、話者/聴取者追跡技術（仮想など）を使用しています。オーディオ合成、バイノーラル クロストーク除去、周波数分割の組み合わせ、振幅変換、空間化されたオーディオ、およびダイナミック ビームフォーミング。

#これらのテクノロジーのおかげで、通話中の 2 人が直接会って話しているかのように感じられます。

#昨年、Google のエンジニアは、このデバイスは標準的なオフィス ネットワークで動作すると述べました。スターライン技術の普及が期待されそうだ。

#当時、Google は価格に関する詳細を明らかにしていませんでした。

#7 フィート× 7 フィート、バスルームほどの大きさの 6 桁の電話ボックスの市場を想像するのは難しいですが、Google は後押ししていますさらにテストを続けます。

「フェイスハガー」にならないでください

このプロジェクトのこれまでの進捗状況はどうですか?

Google Cloud Next 2022 で、Google CEO のサンダー ピチャイは、ホログラフィック ビデオ チャット プロジェクト (プロジェクト スターライン) の進歩を紹介しました。

Google は、Salesforce、WeWork、T-Mobile、Hackensack Meridian Health などの一部のパートナー オフィスで定期テストを実施すると発表しました。

WeWork と Salesforce は、人々の間のつながりをより意味のあるものにする可能性があると主張し、このテクノロジーを試すことに興味があると述べました。

これまで、Project Starline は Google 内で何千時間ものテストを受けており、米国オフィスで毎日使用されています。

Google は声明で次のように述べています。「本日、米国全土で、 Starline プロジェクトのプロトタイプはすべての Google オフィスにあり、従業員は毎日の会議にこのテクノロジーを使用しています。」

このプロジェクトが実際に推進されたときテストを行うことで、このテクノロジーが現実世界でどのように使用されるのか、どのような課題に直面するのかを理解できます。

これは非常にクールだと多くの人が考えていますが、スターライン プロジェクトが最終的に働く人々の日常生活の一部になり得るかどうかを疑問視する人もいます。

巨大なエンタープライズ会議機器市場に直面して、Starline にはある程度のスペースがあります。ただし、いくつかの制限により、Starline を重要な会議に使用するのは困難です。企業の会議機器は多くの場合、テーブルを囲んで座る大人数のグループに適しており、幅広い互換性により、ほぼすべてのハードウェアを使用して誰でも会議を開始できます。

ただし、Starline は 1 人との 1 対 1 のチャットのみをサポートします。大統領との電話に使用できますか?

#最近、Google は記者を招待して Starline の体験テストを実施しました。記者はそれを次のように説明しました:

「プロセス全体が Zoom 通話よりもはるかに自然に感じられました。相手の動きと私たちの通話に明らかな遅延はありませんでした」会話なので、ただ話しているように感じます。奇妙な音声や視覚的な遅延はありません。"

"私は本当に誰かと一緒にいると信じます。小さな Zoom ウィンドウを目を細めるのではなく、フルサイズの仮想人間と実際にアイコンタクトを取りましょう。」

Starline を説得力のあるものにしている理由の 1 つは、画面を見ているだけではなく、画面の前にある一連のレンズまたはレンズ アレイを見ていることです。原理はホログラフィック カードと似ており、前後に振るとさまざまな画像や 3D 効果が表示されます。 Starline はあなたの目を追跡して、表示される画像がどこを指すのかを判断します。

最後に、記者は次のように結論付けています。「特に診療所や顧客にサービスを提供する必要がある場合など、1 対 1 の会話に役立ちます。」

#Google における Starline プロジェクトの長期的な状況は常に不明です。

1 年前、プロジェクトは再編成され、Google は AR/VR テクノロジーと社内の研究開発チームをエリア 120 に統合しました。 「Labs」チームに再編。

#先月、Google はエリア 120 の人員数を半減しました。

#これは、Google が現在の経済情勢においてこの種の実験を優先事項として考えていない可能性があることを示唆しています。 Google 社内の従業員の中にも、Project Starline がまだ存在するかどうかを確信していない人もいます。

# それでも、Starline は依然としてエキサイティングであり、異なる種類の仮想現実への賭けです。

人々はアバターを必要としません。本当の自分を通してのみ仮想世界でつながることができます。

#数日前、Meta は最も高価なハイエンド ヘッドセットである Quest Pro も発売しました。

そして、Google は、Meta が現在行っているように、カメラを使用して目や顔の動きを追跡する技術を開発していません。

# も、仮想現実で体に「足を追加」する方法を研究せず、現実の人物を表現することに重点を置きました。

最も重要なことは、「フェイスハガー」のように顔に装着して負担を増やす必要がないことです。

#同時に、ますます多くの企業がハイブリッドな仕事の未来を模索しようとしているため、Starline は今日の 2D ビデオ チャットのギャップを埋めることができます。 。

2024 年、初の AR ヘッドマウント ディスプレイを市場に投入

実際、Google も AR ヘッドに関してはそれほど遅れをとっていません。 -マウントされたディスプレイレイアウト。

今年の初めに、この件に詳しい 2 人の関係者が、Google が内部コードである AR ヘッドセットの開発を強化し始めたことを明らかにしました。 「Project Iris」と名付けられ、2024 年に開始される予定です。

#そして Google は、2024 年までに Iris を搭載した Starline をリリースしたいと考えています。

最新の Iris ヘッド ディスプレイは、Google の最新プロセッサである完全自社開発の Tensor チップを使用し、Android システムでの実行もサポートします。

#新しいオペレーティング システムに関しては、Google の将来の研究開発計画にも含まれています。

この AR デバイスは、外向きのカメラを使用して計算グラフィックスを現実世界とブレンドし、Snap と Magic Leap を組み合わせたような既存の AR メガネよりも没入型のエクスペリエンスを作成します。現実の経験。

電力の制約のため、Google はデータセンターを使用して一部のグラフィックをリモートでレンダリングし、インターネット接続を通じて AR メガネに送信します。

Project Iris は、Google AR グラス開発のターニングポイントと言えます。

2012 年の初めに、Google は AR メガネのプロトタイプをリリースしました。スキーゴーグルに似ていますが、外部電源に接続する必要はありません。

#ハードウェアとソフトウェアのアップグレードの波を受けて、2014 年に米国市場への上陸に成功し、価格は 1,500 米ドルでした。しかし、2015年に様々なネガティブなニュースを受けて棚から撤去を余儀なくされました。

そして、2015 年、Google は I/O カンファレンスで「VR メガネ ボックス」を発表しました。この装置は非常にシンプルで、主に 1 枚のボール紙と 2 つの特殊なプラスチック レンズで構成されています。

#2017 年、Google は AR グラスの用途を産業に移行することを決定しました。

#追いつくことを急いでいるにもかかわらず、Google は新しい形式の AR ハードウェアの構築において競合他社に後れを取っているようです。

それ以来、Google は AR メガネのハードウェア開発には明らかに沈黙しており、ビジュアル ツールである Google レンズでの AR の開発に重点を置くことにしました。検索エンジン、Google マップ、関連ソフトウェア機能。

2021 年のメタバース コンセプトの爆発により、多くの大手メーカーがこのトラックでのレイアウトを開始しました。

#実際、Google も密かに独自のゲームを進めています。 AR ヘッドセット Iris であれ、ホログラフィック ビデオ通話プロジェクト Starline であれ。

Xiao Zha 氏はかつてインタビューで次のように述べています。「VR の魔法は、自分が別の場所にいて、人々と一緒にいるとすぐに信じさせられることです。そこに一緒に」彼のアイデアはホログラムであり、スターラインはたまたま主人公と同じアイデアを持っていました。

現在、世界最大手のテクノロジー企業 2 社が、方法は異なるものの、アバターの改善に熱心に取り組んでいます。Meta は、次のアイデアに全力で取り組んでいます。そして、Google はそのビジネスを乗っ取ろうとしています。

チャット ルームや高価な複合現実ディスプレイは、ほとんどの人にとって実用的でも理想的でもありませんが、その中間のどこかで本当に飛躍する何かが起こる可能性があります。

参考資料：

https://techcrunch.com/2022/10/13/googles-3d-video-calling-booths-project-starline-will-now-be-tested-in -the-real-world/

https://www.theverge.com/2022/10/13/23400870/google-project-starline-3d-chat-booth-impressions

以上が5年に及ぶ秘密の研究開発！ Googleの3D「マジックミラー」テスト、実際の人とチャットするときに「フェイスハガー」は不要の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。