Menyelam mendalam ke dalam 'AI' yang tersembunyi dalam Apple Vision Pro

Teks/VR Gyro Yuanqiao

Pada Persidangan Pembangun Apple (WWDC 2023) tahun ini, Tim Cook meneruskan ungkapan Jobs tentang "satu perkara lagi" dan mengeluarkan generasi baharu produk pengkomputeran spatial-Apple Vision Pro.

Ini adalah detik bersejarah yang patut diingati. Kami melihat satu lagi detik "satu perkara lagi" yang akan datang satu lagi langkah ke hadapan.

Sebab mengapa saya berkata "sekali lagi" adalah kerana sebelum Apple mengeluarkan produk baharu, OpenAI melancarkan model besar ChatGPT dan GPT, membolehkan manusia merasai sepenuhnya keupayaan luar biasa AI Selaras dengan itu, aplikasi teknologi AI dalam AR/VR bidang juga telah diketengahkan dan juga membawa pusingan baru perubahan dalam struktur perindustrian.

AI+ dianggap sebagai faktor utama dalam pembangunan industri realiti maya/ditambah, dan ia juga merupakan teknologi asas yang menggalakkan pendalaman industri Apple sentiasa menjadi "penetap peraturan permainan" dalam industri dan mempunyai sejarah panjang susun atur di peringkat AI. Walaupun Apple tidak menyebut kecerdasan buatan pada persidangan WWDC 2023 tahun ini, kita boleh mendapatkan gambarannya daripada produk pada persidangan ini dan Vision Pro baharu.

Susun atur AI Apple selama sepuluh tahun

Pada 2 Jun, menurut Twitter media asing Mark Gurman, Apple sedang merekrut bakat dalam kecerdasan buatan Menurut sumber media asing, Apple telah menyiarkan sekurang-kurangnya 88 pekerjaan di portal pengambilan sejak Mei bidang seperti pemodelan generatif visual, kecerdasan aktif dan penyelidikan AI gunaan.

Gambar: Twitter Mark Gurman

Kedudukan yang diiklankan adalah sebahagian daripada pasukan yang akan "membentuk cara teknologi kecerdasan buatan generatif mengubah platform pengkomputeran mudah alih Apple," seterusnya menunjukkan bahawa aplikasi AI dalam produk seperti iPhone dan Vision Pro akan diperluaskan lagi.

Tetapi reka letak Apple dalam kecerdasan buatan sebenarnya lebih awal Pada tahun 2010, Apple memperoleh pasukan Siri dengan harga AS$200 juta pada tahun 2011, dengan keluaran iPhone 4s, Siri muncul di pasaran sebagai pembantu suara pintar dikembangkan kepada Mac, iPad dan juga produk yang baru dikeluarkan Vision Pro.

Gambar: Memanggil Siri dalam Vision Pro (Sumber: Internet)

Carta: Gambaran keseluruhan pemerolehan Apple (susunan giroskop VR)

Berbanding dengan ChatGPT hari ini, yang boleh menulis dan memprogram, operasi mudah ini memudahkan orang ramai melupakan bahawa Siri juga merupakan kecerdasan buatan, tetapi prinsip kerjanya berbeza daripada ChatGPT. Salah satu prinsip kerja Siri ialah apabila ia menerima arahan, ia akan dihantar ke pusat data Apple terlebih dahulu cloud dan berikan jawapannya." Saya tidak tahu banyak tentangnya, tetapi saya menemui maklumat ini di Internet" dan sebagainya. ChatGPT tidak mempunyai aliran pemprosesan tempatan, ia secara langsung bergantung pada pengiraan besar dan penaakulan model, dan boleh memberikan jawapan tanpa mengira sama ada ia memahami maksud arahan.

Sumber gambar: Internet

Apple sentiasa berhati-hati tentang pembangunan AI, lebih suka menekankan fungsi pembelajaran mesin dan memberikan faedah kepada pengguna Seperti yang dikatakan oleh Cook dalam temu bual dengan media di persidangan WWDC 2023, "Kami Mengintegrasikannya (. AI) ke dalam produk kami, tetapi orang tidak semestinya menganggapnya sebagai kecerdasan buatan.”Itulah sebabnya Apple mengehadkan pembangunan Siri yang tidak terkawal.

Sebaliknya, strategi AI Apple lebih memfokuskan kepada dua perkara: prestasi dan keselamatan. Pada tahap prestasi, Apple akan menyepadukan AI ke dalam produknya untuk meningkatkan penggunaan produk itu adalah privasi, dan privasi adalah perkara yang selalu ditumpukan oleh Apple klasifikasi foto kecerdasan buatan , tetapi sebagai tambahan kepada klasifikasi imej automatik, Perceptio juga melindungi privasi tanpa menyimpan data pengguna dalam awan.

Pada tahun 2020, John Giannandrea, naib presiden kanan pembelajaran mesin dan strategi kecerdasan buatan Apple, dan Bob Borchers, naib presiden pemasaran produk, mengesahkan strategi AI Apple dalam temu bual dan mengatakan bahawa Apple mempercepatkan proses ini pada 2018. Biarkan ISP dalam iPhone bekerja rapat dengan enjin saraf (unit pemprosesan pusat), tetapi Apple tidak akan bercakap terlalu banyak tentang keupayaan AInya, menekankan model bahasa Transformer, pembelajaran mesin, dsb.

Gambar: John Giannandrea (Sumber: Internet)

Giannandrea dan Borchers turut menjelaskan: Hari ini, pembelajaran mesin memainkan peranan penting dalam fungsi produk Apple, dan aplikasi pembelajaran mesin dalam Apple akan terus meningkat.

Keupayaan AI didedahkan dalam Apple Vision Pro

Pada tahun ini apabila AI generatif berkembang pesat, ramai orang dalam industri meramalkan bahawa Apple juga mungkin bercakap tentang AI pada persidangan WWDC 2023 tahun ini, bagaimanapun, semasa sidang akhbar hampir 2 jam, AI tidak disebut di mana-mana dalam produknya. En. Gyro telah menyelesaikan keupayaan AI yang dipaparkan oleh Vision Pro Tidak sukar untuk melihat bahawa jika AR/VR mahu mengembangkan lagi, ia pasti tidak dapat dipisahkan daripada sokongan teknologi AI.

1.AI klon digital

Akses kepada AI menjadikan pengeluaran orang digital lebih realistik Walaupun pada sesetengah tapak web, pengguna boleh mencipta orang digital yang memenuhi keperluan mereka sendiri 3D digital juga tidak dapat dielakkan untuk pembangunan set kepala VR selanjutnya. Meta telah mengeluarkan versi 2.0 Codec Avatar, yang lebih lengkap daripada 1.0 dari segi kesan manusia digital yang realistik.

Sumber gambar: Internet

Vision Pro mengimbas maklumat wajah orang ramai melalui kamera hadapan, dan berdasarkan teknologi pembelajaran mesin, sistem menggunakan rangkaian saraf pengekodan lanjutan untuk menjana "klon digital" untuk pengguna. Dan apabila pengguna membuat panggilan FaceTime, avatar digital boleh meniru pergerakan muka dan tangan pengguna secara dinamik, mengekalkan kelantangan dan kedalaman avatar digital.

Sumber gambar: Internet

Apple berkata bahawa pasukan mereka sedang giat mengoptimumkan ciri ini dan akan menjadikan orang digital kelihatan lebih nyata dalam kemas kini visionOS masa hadapan. Sebaliknya, jika dilihat dari hasil sidang akhbar, pembinaan klon digital sememangnya sangat realistik, dan operasinya juga lebih mudah Anda hanya perlu menggunakan peranti untuk mengimbas maklumat muka melepasi pasaran semasa Dapatkan beberapa perisian avatar digital.

2.Pengesanan emosi AI

Apple memperoleh syarikat pengesanan emosi AI pada 2016. Tahun ini, menurut laporan media asing, Apple sedang membangunkan perkhidmatan bimbingan kesihatan kecerdasan buatan dan teknologi baharu untuk menjejaki emosi yang dipanggil Kuarza.

Selepas keluaran Vision Pro, bekas penyelidik Apple Sterling Crispin mendedahkan banyak teknologi hitam tentang Vision Pro di Twitter. Perkara yang paling menakjubkan ialah Vision Pro boleh mengesan keadaan mental pengguna melalui data badan dan otak pengguna semasa pengalaman yang mendalam. "Antara muka otak-komputer" atau "membaca minda" ialah cara Sterling Crispin merujuknya.

Gambar: Maklumat Twitter Sterling Crispin

Prinsip utama di sebalik teknologi ini ialah murid setiap orang bertindak balas sebelum mereka melakukan apa-apa, sebahagiannya kerana anda menjangkakan sesuatu akan berlaku selepas anda mengklik. Oleh itu, Apple boleh memantau tingkah laku mata anda secara algoritma. Ayat yang ditulis semula: Cipta biomaklum balas otak individu dengan mereka bentuk semula UI dalam masa nyata untuk menghasilkan lebih banyak respons murid yang diharapkan.

Sumber gambar: Internet

3. Kaedah input yang lebih bijak

Untuk memuaskan lagi interaksi pengguna dengan fungsi panduan dan kandungan spatial, Vision Pro memperkenalkan sistem input baharu, yang berinteraksi dengan mata, gerak isyarat dan suara, melalui melihat aplikasi dan gerak isyarat "ketik/kuis". , atau gunakan arahan suara untuk menyemak imbas apl.

Sumber imej: Internet

Apabila mata anda melihat pada kotak carian penyemak imbas, kotak carian akan memasuki keadaan input imlak Pada masa ini, anda hanya perlu menyebut kandungan yang anda ingin dapatkan, dan anda boleh menaip teks secara automatik dan kemudian mencari. Gunakan Siri untuk membuka dan menutup apl dengan pantas, memainkan fail media dan banyak lagi.

Sumber gambar: Internet

Walaupun Apple tidak menekankan kaedah input dalam pengenalan Vision Pro, ia dapat dilihat daripada pengenalan iOS 17 bahawa kaedah input pintar yang dikemas kini Apple bukan sahaja dapat membetulkan kesilapan ejaan, tetapi juga membetulkan kesilapan pengguna semasa input ralat sintaks. Lebih penting lagi, berdasarkan pembelajaran mesin sisi peranti, kaedah input juga akan menambah baik model secara automatik berdasarkan input setiap pengguna, membawa fungsi pembetulan automatik kaedah input kepada ketepatan yang tidak pernah berlaku sebelum ini.

Sumber gambar: Internet

4. Sistem pengendalian baharu "visionOS"

Menurut Apple, berdasarkan penyelidikan dan pembangunan macOS, iOS dan iPadOS, mereka mereka bentuk sistem pengendalian baharu VisionOS untuk Vision Pro dari awal untuk mencapai keupayaan pengkomputeran spatial yang sangat tinggi dengan keperluan kependaman rendah masing-masing. Ia termasuk rangka kerja iOS , rangka kerja pengkomputeran spatial, enjin audio spatial, enjin spatial 3D, enjin pemaparan berfoveated, subsistem pemacu masa nyata, dsb.

Sumber gambar: Internet

Menurut Apple, visionOS akan mempunyai AppStore baharu, dan akan terdapat lebih banyak aplikasi yang dibangunkan khusus untuk Vision Pro pada masa hadapan, seperti gambar rajah anatomi 3D, dsb.

Dapat dilihat daripada perkara di atas bahawa inovasi Vision Pro tidak dapat dipisahkan daripada pembangunan pengiraan audio spatial AI, pergerakan mata dan tangkapan tingkah laku tangan, ini adalah bidang di mana teknologi kecerdasan buatan telah memberikan sumbangan yang besar. Apple bergantung pada Dengan sokongan kuasa pengkomputeran yang disediakan oleh cip M2 dan R1, penggunaan tempatan kecerdasan buatan telah berjaya direalisasikan.

Sumber gambar: Internet

Selain keupayaan AI yang tersembunyi di mana-mana dalam Vision Pro, teknologi AI boleh dilihat dalam hampir semua produk Apple AI telah menembusi hampir setiap butiran produknya, seterusnya menunjukkan peranan "AI+" dalam Kepentingan Pembangunan tahap AR/VR.

Walaupun Apple tidak mengatakan apa-apa tentang AI, Cook berkata dalam temu bual bahawa "Dia secara peribadi menggunakan ChatGPT dan teruja dengan aplikasi unik ini dan berkata Apple sedang memberi perhatian yang teliti kepada alat itu." Model bahasa yang besar menunjukkan janji yang hebat, tetapi terdapat juga potensi untuk perkara seperti berat sebelah, maklumat salah dan dalam beberapa kes yang berpotensi lebih buruk Pada pendapat penulis, AI sebagai teknologi harus digunakan untuk meningkatkan prestasi produk dan memberi perkhidmatan yang lebih baik kepada manusia Terlalu banyak gembar-gembur atau publisiti telah kehilangan teknologi ini. Pada masa yang sama, kecerdasan buatan atau pembelajaran mesin akan menjadi lebih biasa pada masa hadapan Berkenaan dengan AI generatif, Apple mungkin tidak membangunkannya mengikut cara yang diharapkan orang ramai, tetapi saya percaya bahawa selepas Apple secara senyap mengintegrasikannya ke dalam produknya, ia akan. pasti meningkatkan pengalaman pengguna dan menjadikannya lebih mesra pengguna.

Gyro Jun sebelum ini telah menganalisis kesan "AI+" pada corak persaingan industri dalam artikel Anda boleh mengklik untuk membaca "GPT-4 pengganggu telah tiba, dan corak persaingan industri AR telah memasuki dimensi baharu". tetapi selain daripada industri Melihat kepada landskap kompetitif, "AI+" juga akan membawa peningkatan yang lebih besar kepada prestasi peranti AR/VR.

Tahun ini, Meta mengeluarkan model baharu untuk pembahagian imej, Segment Anything Model (SAM) Menurut blog Meta, SAM telah mempelajari konsep umum tentang objek, dan ia boleh menjana untuk sebarang objek dalam mana-mana topeng imej atau video). , malah termasuk objek dan jenis imej yang tidak ditemui semasa latihan. SAM ialah teknik serba boleh yang boleh disesuaikan dengan pelbagai kes penggunaan dan boleh segera digunakan pada domain imej baharu tanpa memerlukan latihan tambahan.

Seperti yang ditunjukkan dalam rajah di bawah, SAM boleh membahagikan semua kandungan dalam imej secara automatik:

Sumber gambar: Internet

Pada masa hadapan, SAM dijangka akan disambungkan kepada peranti AR/VR Contohnya, jika ia digunakan untuk mengenal pasti objek harian melalui cermin mata AR, pengguna hanya perlu melihat objek itu dengan matanya, dan SAM boleh. segmen gambar yang dilihat pengguna dengan penggunaan cermin mata AR, Pengguna ditunjukkan peringatan dan arahan untuk objek yang mereka lihat.

Sebaliknya, kemajuan model bahasa berskala besar boleh memberikan pengalaman interaktif yang lebih mengasyikkan untuk peranti AR/VR untuk interaksi suara dan pengecaman objek. Model bahasa yang besar boleh memahami bahasa semula jadi yang lebih kompleks, menyelesaikan tugas pemprosesan bahasa semula jadi yang lebih kompleks, dan kemudian dapat memahami dan bertindak balas kepada arahan kompleks yang diberikan oleh pengguna dalam bentuk suara, meningkatkan pengalaman interaksi suara peranti AR/VR. Memandangkan kuasa pengkomputeran terus meningkat dan model besar diulang dengan pantas, kaedah interaktif pengalaman AR/VR yang mendalam mungkin akan menjadi lebih kaya.

Kedua, pembangunan AI generatif akan mengurangkan lagi kos dan ambang penciptaan 3D dalam aplikasi AR/VR dan menyelesaikan permintaan yang besar untuk bahan 3D dalam AR/VR. Mengenai kesan AI generatif pada penciptaan 3D, Encik Gyro sebelum ini telah menulis analisis ringkas Anda boleh mengklik untuk membaca "Adakah Penciptaan AI 3D Akan Datang?" "Merebut pekerjaan" menjadi kenyataan.

Sumber gambar: Internet

Akhirnya, pembangunan "AI+" yang menyepadukan AR/VR telah menjadi trend utama dalam pembangunan industri Sama ada ia dilihat daripada produk Apple, reka letak terkini Meta atau kesan AI pada kemas kini peranti, semuanya menunjukkan AI yang menyepadukan sepenuhnya. teknologi adalah bahagian penting dalam pembangunan masa depan industri AR/VR.

Walau bagaimanapun, perlu dinyatakan bahawa pembangunan AI masih belum melihat pengeluaran dokumen normatif yang jelas Jika AI berkembang tanpa sekatan, kesan negatif yang akan dibawanya kepada industri tidak boleh dipandang remeh, seperti pelanggaran privasi pengguna. , penipuan, Kebocoran data, berat sebelah kognitif dan banyak lagi.

Artikel rujukan:

1.https://arstechnica.com/gadgets/2020/08/apple-explains-how-it-uses-machine-learning-across-ios-and-soon-macos/

2.https://blog.roboflow.com/apple-vision-pro-visionos-computer-vision/

3. Aplikasi kecerdasan buatan Apple berbeza daripada ChatGPT

4. Apple Vision Pro sebenarnya menyembunyikan "antara muka otak-komputer"?

5. Apakah keupayaan AI Apple yang "bocor" oleh Apple Vision Pro?

Untuk kerjasama sila hubungi

Maklumat hubungan untuk Game Top:

Kerjasama PerniagaanSambungan:

Tembikai: (WeChat 1865903032)

Wen Jing: (WeChat mutou_kiki)

Atas ialah kandungan terperinci Menyelam mendalam ke dalam 'AI' yang tersembunyi dalam Apple Vision Pro. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!