Meta智慧眼鏡用上多模態Llama 3！國內AR眼鏡機會來了

科幻大片中的AR黑科技，竟走進了現實！

剛剛，Meta自家的雷朋智慧眼鏡已經開始支援多模態版的Llama 3了！要知道，Llama 3的開源版本還沒有支援多模態呢。

最近，小札還在談論中承認了開源價值100億美元的模型。不過，如果涉及到產品側，那就是另一回事了。

誒，產品這不就來了麼——

戴上這副智慧眼鏡，外出旅行坐車感到無聊時，可以讓Meta來點音樂。

帶著AR眼鏡，也可以直接翻譯不認識的語言。又或者在路上騰不出手時，Meta可以給好友發語音訊息。

走到一棟建築物前，呼叫Meta告訴自己關於它更多的資訊。

甚至，視訊電話、直播，科普等，只要是你能想到的，AR眼鏡全可以做的到。

Meta介紹，去年12月便開始在雷朋Meta智慧眼鏡上，測試了多模態AI。目前，已經在美國和加拿大地區銷售的眼鏡上推出了這項新功能。

小扎也來炫技了

這款眼鏡配備了一個1200萬像素的攝像頭和五個麥克風，集成Meta AI助手後，意味著帶著它可以做更多的事。

你看到的任何東西，它都能描述出來。

只需說一句，「Hey Meta，看看這個，告訴我它是什麼？」，語音命令即可控制。

看著廚房檯面上一堆食材，Meta能夠迅速地製作出相關的食譜。

更有意思的是，小札本人也在Ins發布一個帶上智慧眼鏡，為自己挑選衣服的影片。

他挑選了一個深色的襯衣，並問Meta我應該要搭配個什麼樣的褲子。 Meta給了牛仔褲、短褲的建議。

他也讓智慧眼鏡給一張萌寵的照片，配上了有趣的描述。

小札手裡拿著一種水果，智慧眼鏡能告訴他這是麵包果。

而對於AR眼鏡來說，即時翻譯將成為一款殺手級應用。

當你旅行時，正在試著讀一份法文選單。不用查閱手機，智慧眼鏡就可以完成即時翻譯。

它甚至可以閱讀不同語言的手勢，簡直是旅行必備單品。

此外，除了得到多模態Llama 3的加持，Meta還公佈了智慧眼鏡整合了WhatsApp和Messenger的免持視訊通話。

同時，不同時尚款式的鏡框設計，都可以專用處方鏡使用。

不過，這款智慧眼鏡起價為300美元（2100元），並不便宜。

實測外出識物，比手機方便

#蹭著更新的熱勁兒，外媒The Verge發布了提前拿到內測資格的評測。

前段時間，Humane智慧型裝置AI Pin因效能不如人意，全網陷入了非議之中。關鍵是700美元，根本不值錢。

作者表示，「我們要對Meta智慧眼鏡的期望值不要太高，因為它並非無所不能」。

テストの楽しみの半分は、限界を見つけることです。

路上にあるこのランダムな車を正しく識別できるでしょうか? （アルファ ロメオ ジュリア クアドリフォリオとアルファ ロメオ トナーレ）。

ほとんどの AI と同様、メタ AI は非常に正確な場合もあれば、幻覚を示す場合もあります。

Giulia を正しく識別しました。しかし、トナーレはジュリアとしても識別されます。

しかし興味深いことに、この 2 台の車にはほとんど類似点がありません。ジュリアはセダンであり、トナーレはクロスオーバー SUV です。

著者はまた、自分が植えた多肉植物を特定するように彼に依頼しました（それらのいくつかは他人から譲り受けたものであり、彼は具体的な品種を十分に知らなかったためです）。

メタさんは「エケベリア、アロエベラ、クラッスラ属の品種」と答えました。

しかし、実際に著者が AI 写真で植物を識別できるアプリケーション Planta を使用して検証したところ、どの植物もエケベリアではないことがわかりました。

最もエキサイティングなことは、著者の恋人が偶然隣家の裏庭で大きなリスを見つけ、それが何であるかを識別するためにスマートグラスを装着したことです。バラエティ。

著者は携帯電話で写真を撮り、別のアプリで試してみました。

案の定、Meta はそれを誤って識別しましたが、作者が使用した APP はそれをマーモットとして識別することに成功しました。

#しかし、スマートグラスを使って携帯電話の写真を識別したところ、確かに「マーモット」という正解が得られました。

この事例は、AR メガネに「ズーム」機能がないことを示しており、誤った答えにつながります。

マルチモーダル認識機能に加えて、筆者が携帯電話と組み合わせてテストしたところ、応答速度も非常に速かったです。同時に、スマートグラスにはサウンド機能が統合されており、眼鏡をかける手間がなくなり、より自然な対話が可能になります。

一般的に、メタ スマート グラスを屋外アクティビティに使用する場合、メタ スマート グラスは物を識別する上で大きな役割を果たします。

以前、筆者は外出時に気になるものを見つけたとき、携帯電話を取り出して写真を撮り、それを特定する必要がありました。

スマート グラスは、識別したいコンテンツが何度も拡大されない限り、携帯電話の機能を非常にうまく拡張することもできます。