Apple Vision Proに隠された「AI」を徹底解剖

テキスト/VR ジャイロ・ユアンチャオ

今年の Apple Developer Conference (WWDC 2023) で、ティム・クック氏はジョブズの「もう 1 つ」という表現を引き継ぎ、新世代の空間コンピューティング製品である Apple Vision Pro をリリースしました。

これは記憶に値する歴史的瞬間です。また「もう 1 つ」の瞬間が来ると考えられます。さらに重要なのは、Apple が新製品をリリースした後、ヒューマン コンピューター インターフェイス テクノロジーが新たな発展をもたらすことになるでしょう。仮想現実/拡張現実のレベルは高まっています。また一歩前進。

「また」と言う理由は、Apple が新製品をリリースする前に、OpenAI が ChatGPT と GPT の大型モデルを発表し、人間が AI の並外れた能力を十分に感じることができるようにしたためです。の分野も注目され、産業構造に新たな変化をもたらしました。

AI は、仮想現実/拡張現実産業の発展における重要な要素とみなされており、また、業界の深化を促進する基盤技術でもあります。Apple は常に業界の「ゲームのルール設定者」であり、 AIレベルで長年のレイアウトを持っています。 Apple は今年の WWDC 2023 カンファレンスで人工知能について言及しませんでしたが、このカンファレンスの製品と新しい Vision Pro から人工知能を垣間見ることができます。

Apple の 10 年間にわたる AI レイアウト

6月2日、海外メディアのマーク・ガーマン氏のツイッターによると、アップルは人工知能分野の人材を募集しており、海外メディア情報筋によると、アップルは5月以来、採用ポータルに少なくとも88件の求人を掲載しているという。視覚生成モデリング、アクティブ インテリジェンス、応用 AI 研究などの分野。

写真: マーク・ガーマン Twitter

今回宣伝されているポジションは、「生成型人工知能技術が Apple のモバイル コンピューティング プラットフォームをどのように変えるか」を担うチームの一員であり、iPhone や Vision Pro などの製品における AI アプリケーションがさらに拡大されることを示しています。

しかし、Apple の人工知能の配置は実際にはもっと前です。2010 年に Apple は Siri チームを 2 億米ドルで買収しました。2011 年、iPhone 4s のリリースとともに、Siri はインテリジェントな音声アシスタントとして市場に登場しました。現在はMac、iPad、さらには新しくリリースされた製品 Vision Pro にも拡張されています。

写真: Vision Pro で Siri を呼び出す (出典: インターネット)

チャート: Apple 買収のリスト (VR ジャイロスコープの配置)

この単純な操作に比べると、Siri が実際には人工知能であることを忘れがちですが、ChatGPT とは動作が異なります。 Siri の動作原理の 1 つは、コマンドを受信すると、まず Apple のデータ センターに送信されます。データ センターはコマンドの内容を分析し、既知の応答を返します。2 番目のステップでは、コマンドを「よく分からないんですが、ネットでこんな情報を見つけました」など。 ChatGPT にはローカルな処理フローはなく、膨大な計算とモデル推論に直接依存しており、命令の意味を理解しているかどうかに関係なく答えを返すことができます。

出典: インターネット

Apple は常に AI の開発に慎重であり、機械学習機能を重視し、ユーザーにメリットを提供することを好みました。 クック氏が WWDC 2023 カンファレンスでのメディアのインタビューで述べたように、「私たちは AI を統合します ( AI) を製品に組み込んでいますが、人々は必ずしもそれを人工知能だと考えているわけではありません。」 このため、Apple は Siri の無秩序な開発を制限する予定です。

一方、Apple の AI 戦略は、パフォーマンスとセキュリティという 2 つの点に重点を置いています。パフォーマンス レベルでは、Apple は製品の使用を改善するために AI を製品に統合する予定です。セキュリティはプライバシーであり、プライバシーは Apple が常に注力しているポイントです。たとえば、2015 年に Apple は、主に製品に従事する企業 Perceptio を買収しました。人工知能による写真分類ですが、自動画像分類に加えて、Perceptio はユーザー データをクラウドに保存せずにプライバシーも保護します。

2020年、Appleの機械学習および人工知能戦略担当上級副社長のジョン・ジャナンドレア氏と製品マーケティング担当副社長のボブ・ボーチャーズ氏はインタビューでAppleのAI戦略を肯定し、Appleは2018年にこのプロセスを加速したと述べた。 iPhoneのISPはニューラルエンジン（中央演算処理装置）と緊密に連携しているが、AppleはそのAI機能についてはあまり語らず、Transformer言語モデルや機械学習などを強調している。

写真: ジョン・ジャナンドレア (出典: インターネット)

Giannandrea 氏と Borchers 氏は次のことも明らかにしました。現在、機械学習は Apple の製品機能において重要な役割を果たしており、Apple における機械学習の応用は今後も増加し続けるでしょう。

Apple Vision Pro で明らかになった AI 機能

生成AIが盛り上がる今年、Appleも今年のWWDC 2023カンファレンスでAIについて語るのではないかと予測する業界関係者は多いが、2時間近い記者会見中、AIについては一度も言及されなかった。それは製品のいたるところにあります。ジャイロ氏はVision Proが示すAIの能力を整理しており、AR/VRがさらなる発展を目指すのであれば、必然的にAI技術のサポートと切り離せないものになることは容易に想像できます。

1.AI デジタル クローン

AI へのアクセスにより、デジタル ピープルの制作がより現実的になります。一部の Web サイトでも、ユーザーは自分のニーズを満たすデジタル ピープルを作成でき、VR ヘッドセットのさらなる発展には 3D 仮想デジタル ピープルは避けられません。 Meta は、デジタル ヒューマンのリアルな効果という点で 1.0 よりも完成度の高い Codec Avatar バージョン 2.0 をリリースしました。

出典: インターネット

Vision Pro は、フロント カメラを通じて人の顔情報をスキャンし、機械学習テクノロジーに基づいて、システムは高度なコーディング ニューラル ネットワークを使用してユーザーの「デジタル クローン」を生成します。また、ユーザーが FaceTime 通話を行っているとき、デジタル アバターは、デジタル アバターのボリュームと奥行きを維持しながら、ユーザーの顔と手の動きを動的に模倣できます。

出典: インターネット

Apple は、チームがこの機能を積極的に最適化しており、将来のvisionOS アップデートでデジタル人々をより現実的に見せる予定であると述べました。一方で、記者会見の結果を見る限り、デジタルアバターの構築は確かに非常に現実的であり、操作もデバイスで顔情報をスキャンするだけで済むなど、よりシンプルになっていると言えるだろう。現在の市場を超えています。デジタル アバター ソフトウェアを入手してください。

2.AI感情検出

Appleは2016年にAI感情検出会社を買収し、今年、海外メディアの報道によると、Appleは人工知能による健康指導サービスと、Quartzと呼ばれる感情を追跡する新技術を開発しているという。

Vision Pro のリリース後、元 Apple 研究者の Sterling Crispin が Twitter で Vision Pro に関する多くのブラック テクノロジーを暴露しました。最も驚くべきことは、Vision Pro が没入型体験中にユーザーの身体と脳のデータを通じてユーザーの精神状態を検出できることです。スターリング・クリスピンは、「ブレイン・コンピューター・インターフェース」または「マインド・リーディング」と呼んでいます。

写真: スターリング・クリスピンのTwitter情報

このテクノロジーの背後にある主な原理は、クリック後に何かが起こることを期待しているため、全員の生徒が何かをする前に反応するということです。したがって、Apple はアルゴリズムによってユーザーの目の動作を監視できます。書き直された文: リアルタイムで UI を再設計することで、個々の脳のバイオフィードバックを作成し、より期待される瞳孔反応を生成します。

出典: インターネット

3. よりスマートな入力方法

ガイダンス機能や空間コンテンツとのユーザーのインタラクションをさらに満足させるために、Vision Pro では、アプリケーションを見て「タップ/フリック」ジェスチャを通じて目、ジェスチャ、音声と対話する新しい入力システムを導入しています。 、または音声コマンドを使用してアプリを参照します。

出典: インターネット

ブラウザの検索ボックスに目を向けると、検索ボックスはディクテーション入力状態になり、このとき取り出したい内容を発話するだけで、自動的に文字を入力して検索することができます。 Siri を使用して、アプリをすばやく開閉したり、メディア ファイルを再生したりできます。

出典: インターネット

Apple は Vision Pro の導入で入力方法を強調しませんでしたが、iOS 17 の導入から、Apple の更新されたよりスマートな入力方法がスペルミスを修正するだけでなく、入力中のユーザーの入力も修正できることがわかります。プロセス、文法上の誤り。さらに重要なのは、デバイス側の機械学習に基づいて、インプット メソッドも各ユーザーの入力に基づいてモデルを自動的に改善し、インプット メソッドの自動修正機能を前例のない精度に引き上げることです。

出典: インターネット

4. 新しいオペレーティングシステム「visionOS」

Apple によると、macOS、iOS、iPadOS の研究開発に基づいて、低遅延要件で非常に高い空間コンピューティング機能を実現するために、Vision Pro 用の新しいオペレーティング システム VisionOS をゼロから設計し、それぞれ iOS フレームワークが組み込まれています。 、空間コンピューティング フレームワーク、空間オーディオ エンジン、3D 空間エンジン、中心窩レンダリング エンジン、リアルタイム ドライバー サブシステムなど。

出典: インターネット

Apple によると、visionOS には新しい AppStore があり、将来的には 3D 解剖図など、Vision Pro 専用に開発されたアプリケーションがさらに増える予定です。

上記のことから、Vision Pro のイノベーションは AI の発展と切り離せないことがわかります。Vision Pro の空間音声計算、目の動き、手の動作のキャプチャは、これらの領域で人工知能技術が大きく貢献しています。 Apple が依存する M2 および R1 チップによって提供されるコンピューティング能力のサポートにより、人工知能のローカル展開が成功裏に実現されました。

出典: インターネット

Vision Pro に隠されたユビキタス AI 機能に加えて、AI テクノロジーは Apple のほぼすべての製品で見ることができます。AI は製品のほぼすべての細部に浸透しており、「AI」の重要性がさらに実証されています。 AR/VRレベルの開発。

Apple は AI について言及しませんでしたが、クック氏はインタビューで「彼は個人的に ChatGPT を使用しており、このユニークなアプリケーションに興奮しており、Apple は現在このツールに細心の注意を払っていると述べました。」と述べました。 「大規模な言語モデルは大きな可能性を示していますが、偏見や誤った情報、場合によってはさらに悪いことが起こる可能性もあります。 」

著者の意見では、テクノロジーとしての AI は、製品のパフォーマンスを向上させ、人間により良いサービスを提供するために使用されるべきですが、過剰な宣伝や宣伝により、このテクノロジーのあるべき姿が失われています。同時に、将来的には人工知能や機械学習がより一般的になるだろうし、生成AIについては、Appleは世間が期待するような開発はしないかもしれないが、Appleが黙って自社製品に組み込んでいくと、必ず普及するだろうと私は信じている。ユーザーエクスペリエンスを確実に向上させ、人々の目を輝かせます。

AR/VR開発の鍵となる「AI」

Gyro Jun は以前、記事で業界の競争パターンに対する「AI」の影響を分析しました。クリックすると「破壊者 GPT-4 が登場し、AR 業界の競争パターンは新たな次元に入った」を読むことができます。業界は別として 競争環境を見ると、「AI」によって AR/VR デバイスのパフォーマンスも大幅に向上するでしょう。

今年、Meta は画像セグメンテーションの新しいモデルである Segment Anything Model (SAM) をリリースしました。Meta ブログによると、SAM はオブジェクトに関する一般的な概念を学習し、あらゆる画像またはビデオ内のあらゆるオブジェクトに対してそれを生成できます。 .マスクには、トレーニング中に遭遇しなかったオブジェクトや画像タイプも含まれます。 SAM は、さまざまなユースケースに適応できる汎用性の高い技術であり、追加のトレーニングを必要とせずに新しい画像ドメインにすぐに適用できます。

下の図に示すように、SAM は画像内のすべてのコンテンツを自動的にセグメント化できます。

出典: インターネット

将来的には、SAM は AR/VR デバイスと接続されることが期待されており、たとえば、AR メガネを通して日常の物体を識別するために使用される場合、ユーザーは目で物体を見るだけで済み、SAM はユーザーが見ている画像を分割することができ、AR メガネを適用すると、見ているオブジェクトに関するリマインダーと指示がユーザーに表示されます。

一方、大規模言語モデルの進歩により、音声対話やオブジェクト認識を備えた AR/VR デバイスにより没入型のインタラクティブな体験が提供される可能性があります。大規模な言語モデルは、より複雑な自然言語を理解し、より複雑な自然言語処理タスクを完了し、ユーザーが音声の形で与える複雑な指示を理解して応答できるようになり、AR/VR デバイスの音声対話エクスペリエンスを強化します。コンピューティング能力が向上し続け、大規模なモデルが迅速に反復されるにつれて、没入型 AR/VR エクスペリエンスのインタラクティブな方法がより充実したものになる可能性があります。

第二に、生成 AI の開発により、AR/VR アプリケーションでの 3D 作成のコストと敷居がさらに下がり、AR/VR での 3D マテリアルに対する大きな需要が解決されます。ジェネレーティブ AI が 3D 制作に与える影響については、ジャイロ氏が以前に短い分析を書いています。クリックして「AI 3D 制作は来るのか?」を読むことができます。 「仕事の掴み取り」が叶います。

出典: インターネット

最後に、AR/VR と統合された「AI」の開発は、業界の発展における大きなトレンドとなっています。Apple の製品から見ても、Meta の最新のレイアウトから見ても、デバイスのアップデートにおける AI の影響から見ても、すべてが完全に統合されていることがわかります。 AI テクノロジーは、AR/VR 業界の将来の発展にとって重要な部分です。

ただし、AI の発展に関して明確な規範文書がまだ発表されていないことは言及しておく価値があります。AI が無制限に発展した場合、ユーザーのプライバシーの侵害など、業界にもたらす悪影響は過小評価できません。 、詐欺、データ漏洩、認知バイアスなど。

参考記事：

1.https://arstechnica.com/gadgets/2020/08/apple-explains-how-it-uses-machine-learning-across-ios-and-soon-macos/

2.https://blog.roboflow.com/apple-vision-pro-visionos-computer-vision/

3. Apple の人工知能アプリケーションは ChatGPT とは異なります

4. Apple Vision Pro は実際に「ブレイン・コンピューター・インターフェース」を隠しているのでしょうか？

5. Apple Vision Pro からはどのような AI 機能が「漏洩」しますか?

協力ご連絡ください

ゲームトップの連絡先:

業務協力つながり:

スイカ: (WeChat 1865903032)

ウェン・ジン: (WeChat mutou_kiki)

以上がApple Vision Proに隠された「AI」を徹底解剖の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。