Ein tiefer Einblick in die „KI', die in Apple Vision Pro verborgen ist

Text/VR Gyro Yuanqiao

Auf der diesjährigen Apple Developer Conference (WWDC 2023) führte Tim Cook Jobs‘ Ausdruck von „noch einer Sache“ fort und veröffentlichte eine neue Generation von Spatial-Computing-Produkten – Apple Vision Pro.

Dies ist ein historischer Moment, an den man sich erinnern sollte. Noch wichtiger ist, dass die Mensch-Computer-Schnittstellentechnologie eine neue Entwicklung einläuten wird, nachdem Apple neue Produkte herausgebracht hat ein weiterer Schritt nach vorn.

Der Grund, warum ich „noch einmal“ sage, ist, dass OpenAI vor der Veröffentlichung neuer Produkte ChatGPT- und GPT-Großmodelle auf den Markt gebracht hat, die es den Menschen ermöglichen, die außergewöhnlichen Fähigkeiten der KI voll zu spüren wurden ebenfalls hervorgehoben und führten sogar zu einer neuen Runde von Veränderungen in der Industriestruktur.

KI+ gilt als Schlüsselfaktor für die Entwicklung der Virtual/Augmented-Reality-Branche, und es ist auch die zugrunde liegende Technologie, die die Vertiefung der Branche vorantreibt. Apple war schon immer der „Spielregelsetzer“ in der Branche und hat eine lange Geschichte des Layouts auf KI-Ebene. Obwohl Apple auf der diesjährigen WWDC 2023-Konferenz künstliche Intelligenz nicht erwähnte, können wir anhand der Produkte auf dieser Konferenz und des neuen Vision Pro einen Eindruck davon gewinnen.

Apples KI-Layout seit über zehn Jahren

Am 2. Juni hat Apple laut Twitter von Mark Gurman Talente im Bereich künstliche Intelligenz rekrutiert. Laut ausländischen Medienquellen hat Apple seit Mai mindestens 88 Stellen im Bereich künstliche Intelligenz veröffentlicht visuelle generative Modellierung, aktive Intelligenz und angewandte KI-Forschung.

Bild: Mark Gurman Twitter

Die ausgeschriebene Stelle ist Teil eines Teams, das „gestalten wird, wie generative künstliche Intelligenz die mobile Computing-Plattform von Apple verändert“, was weiter darauf hindeutet, dass KI-Anwendungen in Produkten wie dem iPhone und Vision Pro weiter ausgebaut werden.

Aber Apples Ansatz in Sachen künstliche Intelligenz ist tatsächlich früher: 2010 erwarb Apple das Siri-Team für 200 Millionen US-Dollar und debütierte mit der Veröffentlichung des iPhone 4s auf dem Markt , iPad und sogar das neu veröffentlichte Produkt Vision Pro.

Bild: Aufrufen von Siri in Vision Pro (Quelle: Internet)

Chart: Übersicht über Apples Akquisitionen (VR-Gyroskop-Anordnung)

Verglichen mit dieser einfachen Bedienung vergisst man leicht, dass Siri eigentlich künstliche Intelligenz ist, sein Funktionsprinzip unterscheidet sich jedoch von ChatGPT. Eines der Arbeitsprinzipien von Siri besteht darin, dass eine Anweisung nach Erhalt zunächst an das Rechenzentrum von Apple gesendet wird. Das Rechenzentrum analysiert dann den Inhalt der Anweisung und gibt sie anschließend in die Cloud hoch und geben Sie die Antwort: „Ich weiß nicht viel darüber, aber ich habe diese Informationen im Internet gefunden“ und so weiter. ChatGPT hat keinen lokalen Verarbeitungsfluss, sondern stützt sich direkt auf umfangreiche Berechnungen und Modellüberlegungen und kann Antworten geben, unabhängig davon, ob es die Bedeutung der Anweisungen versteht.

Quelle: Internet

Apple war bei der Entwicklung von KI immer vorsichtig und hat es vorgezogen, die Funktionen des maschinellen Lernens hervorzuheben und den Benutzern Vorteile zu bieten.Wie Cook in einem Interview mit den Medien auf der WWDC 2023-Konferenz sagte: „Wir denken darüber nach.“ „In unsere Produkte integriert, aber die Leute denken nicht unbedingt, dass es sich um künstliche Intelligenz handelt.“Deshalb schränkt Apple die unkontrollierte Entwicklung von Siri ein.

Andererseits konzentriert sich Apples KI-Strategie eher auf zwei Punkte: Leistung und Sicherheit. Auf der Leistungsebene wird Apple KI in seine Produkte integrieren, um die Nutzung des Produkts zu verbessern. Sicherheit ist Datenschutz, und Datenschutz ist ein Punkt, auf den sich Apple seit jeher konzentriert hat. Im Jahr 2015 hat Apple beispielsweise Perceptio übernommen, ein Unternehmen, das sich hauptsächlich mit dem Thema beschäftigt Mithilfe künstlicher Intelligenz wird die Bildklassifizierung durchgeführt, aber zusätzlich zur automatischen Bildklassifizierung schützt Perceptio auch die Privatsphäre, ohne Benutzerdaten in der Cloud zu speichern.

Im Jahr 2020 bekräftigten John Giannandrea, Senior Vice President für maschinelles Lernen und Strategie für künstliche Intelligenz bei Apple, und Bob Borchers, Vizepräsident für Produktmarketing, in einem Interview die KI-Strategie von Apple und sagten, dass Apple diesen Prozess im Jahr 2018 beschleunigt habe, um das iPhone zu entwickeln Der darin enthaltene ISP arbeitet eng mit der Neural Engine (Zentraleinheit) zusammen, aber Apple wird nicht zu viel über seine KI-Fähigkeiten sprechen und den Schwerpunkt auf das Transformer-Sprachmodell, maschinelles Lernen usw. legen.

Bild: John Giannandrea (Quelle: Internet)

Giannandrea und Borchers machten außerdem deutlich: Maschinelles Lernen spielt heute eine wichtige Rolle in den Produktfunktionen von Apple und die Anwendung von maschinellem Lernen bei Apple wird weiter zunehmen.

KI-Funktionen in Apple Vision Pro enthüllt

In diesem Jahr, in dem die generative KI boomt, gehen viele Leute in der Branche davon aus, dass Apple auf der diesjährigen WWDC 2023-Konferenz auch über KI sprechen wird. Während der fast zweistündigen Pressekonferenz wurde KI jedoch nicht ein einziges Mal erwähnt im Produkt. Herr Gyro hat die von Vision Pro angezeigten KI-Fähigkeiten geklärt. Es ist nicht schwer zu erkennen, dass eine Weiterentwicklung von AR/VR unweigerlich mit der Unterstützung der KI-Technologie verbunden sein wird.

1.AI digitaler Klon

Der Zugang zu KI macht die Produktion digitaler Menschen realistischer. Auch auf einigen Websites können Benutzer digitale 3D-Personen erstellen, die auch ein unvermeidlicher Bestandteil der Weiterentwicklung von VR-Headsets sind. Meta hat die Codec Avatar Version 2.0 veröffentlicht, die hinsichtlich der realistischen Effekte digitaler Menschen vollständiger ist als 1.0.

Quelle: Internet

Vision Pro scannt die Gesichtsinformationen einer Person durch die Frontkamera und basierend auf maschineller Lerntechnologie nutzt das System fortschrittliche kodierende neuronale Netze, um einen „digitalen Avatar“ für den Benutzer zu generieren. Und wenn der Benutzer einen FaceTime-Anruf tätigt, kann der digitale Avatar die Gesichts- und Handbewegungen des Benutzers dynamisch imitieren und dabei die Lautstärke und Tiefe des digitalen Avatars beibehalten.

Quelle: Internet

Apple sagte, dass sein Team diese Funktion aktiv optimiert und digitale Menschen in zukünftigen visionOS-Updates realistischer aussehen lassen wird. Andererseits ist die Erstellung digitaler Klone nach den Ergebnissen der Pressekonferenz tatsächlich sehr realistisch und die Bedienung ist auch einfacher. Man kann sagen, dass dies der Fall ist übertraf den aktuellen Markt. Holen Sie sich eine digitale Avatar-Software.

2.KI-Emotionserkennung

Apple hat 2016 ein Unternehmen zur Erkennung von KI-Emotionen übernommen und in diesem Jahr entwickelt Apple ausländischen Medienberichten zufolge einen Gesundheitsberatungsdienst mit künstlicher Intelligenz und eine neue Technologie zur Verfolgung von Emotionen namens Quartz.

Nach der Veröffentlichung von Vision Pro enthüllte der ehemalige Apple-Forscher Sterling Crispin auf Twitter jede Menge schwarze Technologie über Vision Pro. Das Erstaunlichste ist, dass Vision Pro während des immersiven Erlebnisses den mentalen Zustand des Benutzers anhand der Körper- und Gehirndaten des Benutzers erkennen kann. „Gehirn-Computer-Schnittstelle“ oder „Gedankenlesen“ nennt Sterling Crispin es.

Bild: Twitter-Informationen von Sterling Crispin

Das Hauptprinzip dieser Technologie besteht darin, dass alle Schüler reagieren, bevor sie etwas tun, zum Teil weil man erwartet, dass etwas passiert, nachdem man geklickt hat. Daher kann Apple Ihr Augenverhalten algorithmisch überwachen. Umgeschriebener Satz: Erstellen Sie Biofeedback des individuellen Gehirns, indem Sie die Benutzeroberfläche in Echtzeit neu gestalten, um erwartetere Schülerreaktionen zu erzielen.

Quelle: Internet

3. Intelligentere Eingabemethode

Um die Interaktion des Benutzers mit der Führungsfunktion und räumlichen Inhalten weiter zu befriedigen, führt Vision Pro ein neues Eingabesystem ein, das mit Augen, Gesten und Stimme interagiert und durch Ansehen der Anwendung und „Tippen/Schnippen“-Gesten anwendet , oder verwenden Sie Sprachbefehle, um durch Apps zu navigieren.

Quelle: Internet

Wenn Ihre Augen auf das Browser-Suchfeld blicken, wechselt das Suchfeld in den Diktat-Eingabestatus. Zu diesem Zeitpunkt müssen Sie nur den Inhalt sprechen, den Sie abrufen möchten, und Sie können den Text automatisch eingeben und dann suchen. Verwenden Sie Siri, um Apps schnell zu öffnen und zu schließen, Mediendateien abzuspielen und mehr.

Quelle: Internet

Obwohl Apple bei der Einführung von Vision Pro keinen Schwerpunkt auf die Eingabemethode gelegt hat, ist aus der Einführung von iOS 17 ersichtlich, dass Apples aktualisierte, intelligentere Eingabemethode nicht nur Rechtschreibfehler, sondern auch Grammatikfehler korrigieren kann, die Benutzer während der Eingabe gemacht haben Verfahren. . Noch wichtiger ist, dass die Eingabemethode basierend auf geräteseitigem maschinellen Lernen auch das Modell basierend auf den Eingaben jedes Benutzers automatisch verbessert, wodurch die automatische Korrekturfunktion der Eingabemethode eine beispiellose Genauigkeit erreicht.

Quelle: Internet

4. Neues Betriebssystem „visionOS“

Laut Apple haben sie basierend auf der Forschung und Entwicklung von macOS, iOS und iPadOS ein neues Betriebssystem VisionOS für Vision Pro von Grund auf entwickelt, um sehr hohe räumliche Rechenfähigkeiten mit geringen Latenzanforderungen zu erreichen; iOS ist eingebettet bzw. Framework, räumliches Computing Framework, Spatial Audio Engine, 3D Spatial Engine, Foveated Rendering Engine, Echtzeit-Treibersubsystem usw.

Quelle: Internet

Laut Apple wird visionOS einen neuen AppStore haben, und es wird in Zukunft weitere speziell für Vision Pro entwickelte Anwendungen geben, wie zum Beispiel 3D-Anatomiediagramme usw.

Aus dem oben Gesagten geht hervor, dass die Innovation von Vision Pro untrennbar mit der Entwicklung der KI verbunden ist. Bei der räumlichen Audioberechnung, der Augenbewegung und der Handverhaltenserfassung sind dies die Bereiche, in denen die Technologie der künstlichen Intelligenz große Beiträge geleistet hat verlässt sich auf M2 Die von R1-Chips bereitgestellte Rechenleistungsunterstützung hat den lokalen Einsatz künstlicher Intelligenz erfolgreich realisiert.

Quelle: Internet

Zusätzlich zu den allgegenwärtigen KI-Funktionen, die in Vision Pro verborgen sind, ist KI-Technologie in fast allen Apple-Produkten zu sehen, was die Rolle von „KI+“ in AR/VR weiter verdeutlicht Niveauentwicklung.

Obwohl Apple nichts über KI sagte, sagte Cook in einem Interview, dass „er persönlich ChatGPT nutzt und von dieser einzigartigen Anwendung begeistert ist und sagte, dass Apple dem Tool derzeit große Aufmerksamkeit schenkt.“ Cook fügte außerdem hinzu: „Groß angelegte Sprache.“ Modelle sind vielversprechend, aber es besteht auch die Gefahr von Voreingenommenheit, Fehlinformationen und in einigen Fällen SchlimmeremNach Meinung des Autors sollte KI als Technologie genutzt werden, um die Leistung von Produkten zu verbessern und den Menschen besser zu dienen. Zu viel Hype oder Publicity hat das verloren, was diese Technologie sein sollte. Gleichzeitig werden künstliche Intelligenz oder maschinelles Lernen in Zukunft immer häufiger eingesetzt. Apple entwickelt sie möglicherweise nicht in der von der Öffentlichkeit erhofften Weise, aber ich glaube, dass dies der Fall sein wird, nachdem Apple sie stillschweigend in seine Produkte integriert hat Verbessern Sie auf jeden Fall das Benutzererlebnis und machen Sie es benutzerfreundlicher.

„AI+“, ein wichtiger Teil der Entwicklung von AR/VR

Gyro Jun hat zuvor in einem Artikel die Auswirkungen von „KI+“ auf das Wettbewerbsmuster der Branche analysiert. Klicken Sie hier, um zu lesen: „Der Disruptor GPT-4 ist da und das Wettbewerbsmuster der AR-Branche ist in eine neue Dimension eingetreten.“ Abgesehen vom Wettbewerbsmuster in der Branche scheint „KI+“ auch größere Verbesserungen bei der Leistung von AR/VR-Geräten mit sich zu bringen.

Dieses Jahr hat Meta ein neues Modell für die Bildsegmentierung veröffentlicht, das Segment Anything Model (SAM). Laut Meta-Blog hat SAM allgemeine Konzepte über Objekte gelernt und kann Masken für jedes Objekt in jedem Bild oder Video generieren und Bildtypen, die während des Trainings nicht vorkommen, sind enthalten. SAM ist eine vielseitige Technik, die an eine Vielzahl von Anwendungsfällen angepasst werden kann und ohne zusätzliche Schulung sofort auf neue Bilddomänen angewendet werden kann.

Wie in der Abbildung unten gezeigt, kann SAM alle Inhalte im Bild sehr gut automatisch segmentieren:

Quelle: Internet

In Zukunft soll SAM mit AR/VR-Geräten verbunden werden. Beispielsweise können Benutzer damit alltägliche Objekte durch eine AR-Brille identifizieren, und SAM kann sie segmentieren Bild, das der Benutzer sieht; Zusammenarbeit mit der AR-Brillenanwendung, um dem Benutzer Erinnerungen und Anweisungen für das betrachtete Objekt anzuzeigen.

Andererseits kann der Fortschritt groß angelegter Sprachmodelle ein immersiveres interaktives Erlebnis für AR/VR-Geräte für Sprachinteraktion und Objekterkennung bieten. Große Sprachmodelle können komplexere natürliche Sprachen verstehen, komplexere Aufgaben zur Verarbeitung natürlicher Sprache erledigen und dann in der Lage sein, komplexe Anweisungen zu verstehen und darauf zu reagieren, die von Benutzern in Form von Sprache gegeben werden, wodurch das Sprachinteraktionserlebnis von AR/VR-Geräten verbessert wird. Da die Rechenleistung weiter zunimmt und große Modelle schnell iteriert werden, werden die interaktiven Methoden immersiver AR/VR-Erlebnisse wahrscheinlich immer umfangreicher.

Zweitens wird die Entwicklung generativer KI die Kosten und den Schwellenwert der 3D-Erstellung in AR/VR-Anwendungen weiter senken und die große Nachfrage nach 3D-Materialien in AR/VR decken. Bezüglich der Auswirkungen der generativen KI auf die 3D-Erstellung hat Herr Gyro zuvor eine kurze Analyse geschrieben. Klicken Sie hier, um zu lesen: „Kommt die KI-3D-Erstellung?“ „Greif um den Job“ wird wahr.

Quelle: Internet

Schließlich ist die Entwicklung von „KI+“ mit AR/VR-Integration zu einem wichtigen Trend in der Branchenentwicklung geworden, egal ob man sie von Apples Produkten, dem neuesten Layout von Meta oder den Auswirkungen von KI auf Geräteaktualisierungen betrachtet, sie hat die Kombination von KI-Technologie vollständig demonstriert ein wichtiger Teil der zukünftigen Entwicklung der AR/VR-Branche.

Es ist jedoch erwähnenswert, dass die Entwicklung der KI noch nicht zur Veröffentlichung klarer normativer Dokumente geführt hat. Die negativen Auswirkungen der uneingeschränkten Entwicklung der KI auf die Branche sind nicht zu unterschätzen, wie z. B. Verletzung der Privatsphäre der Benutzer, Betrug, Datenlecks. Kognitive Vorurteile und mehr.

Referenzartikel:

1.https://arstechnica.com/gadgets/2020/08/apple-explains-how-it-uses-machine-learning-across-ios-and-soon-macos/

2.https://blog.roboflow.com/apple-vision-pro-visionos-computer-vision/

3. Apples Anwendung für künstliche Intelligenz unterscheidet sich von ChatGPT

4. Verbirgt sich in Apple Vision Pro tatsächlich eine „Gehirn-Computer-Schnittstelle“?

5.Welche KI-Fähigkeiten von Apple „verliert“ Apple Vision Pro?

Für eine Zusammenarbeitbitte kontaktieren

Kontaktinformationen für Game Top:

GeschäftskooperationVerbindung:

Wassermelone: (WeChat 1865903032)

Wenjing: (WeChat mutou_kiki)

Das obige ist der detaillierte Inhalt vonEin tiefer Einblick in die „KI', die in Apple Vision Pro verborgen ist. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!