メタスマートグラスはマルチモーダルLlama 3を採用！国産ARグラスのチャンス到来

SF 大作映画に登場する AR ブラック テクノロジーが現実に登場しました。

たった今、Meta 独自の Ray-Ban スマート グラスが Llama 3 のマルチモーダル バージョンのサポートを開始しました。ご存知のとおり、Llama 3 のオープンソース バージョンはまだマルチモダリティをサポートしていません。

最近、Xiao Zha 氏もディスカッションの中で、オープンソース モデルには 100 億米ドルの価値があることを認めました。ただし、製品側となると話は別です。

ほら、この商品はありませんか?

旅行中や乗車中に退屈したときは、このスマートグラスをかけてください。車では、Meta に音楽を再生させることができます。

#AR メガネを使用すると、未知の言語を直接翻訳することもできます。または、外出中に時間がないときは、Meta から友人に音声メッセージを送信できます。

建物に行き、Meta に電話して、その建物についての詳しい情報を伝えてください。

ビデオ通話、生放送、科学の普及など、思いつく限りのことは AR メガネで実現できます。

#Meta は、昨年 12 月に Ray-Ban Meta スマート グラスでマルチモーダル AI のテストを開始したと紹介しました。現在、この新機能は米国とカナダで販売されているメガネに導入されています。

Xiao Zha もスキルを披露するためにここに来ています

このメガネには 12 メガピクセルのカメラと 5 つのマイクが装備されており、Meta が統合されていますAI アシスタントの次は、それを使ってさらに多くのことができることを意味します。

目に見えるものはすべて説明できます。

「ねえメタ、これを見て、これが何なのか教えてください」と言うだけで、音声コマンドで制御できます。

キッチンカウンターの上に山積みになった材料を眺めながら、メタは関連するレシピを素早く作成することができました。

さらに興味深いのは、Xiao Zha自身もスマートグラスを着用して自分で服を選ぶビデオをInstagramに投稿したことです。

彼は濃い色のシャツを選び、どのようなパンツと一緒に着るべきかをメタに尋ねました。 Meta はジーンズとショートパンツの提案をします。

彼はまた、スマートグラスに、かわいいペットの写真に興味深い説明を追加するように依頼しました。

Xiao Zha さんは手にある種の果物を持っています。スマートグラスでは、それがパンノキであることがわかります。

AR メガネにとって、リアルタイム翻訳はキラー アプリケーションになるでしょう。

旅行中にフランス語のメニューを読もうとしているとき。スマートグラスを使用すると、携帯電話を参照することなくリアルタイム翻訳を完了できます。

さまざまな言語のジェスチャーを読み取ることもできるので、旅行の必需品になります。

さらに、Meta は、マルチモーダル Llama 3 によるサポートに加えて、スマート グラスに WhatsApp と Messenger が統合され、ハンズフリーのビデオ通話が可能になることも発表しました。

同時に、さまざまなファッショナブルなフレームデザインを度付きメガネと一緒に使用できます。

ただし、このスマートグラスの価格は300米ドル（2,100元）からと、決して安くはありません。

屋外の物体識別の正確なテストは携帯電話を使用するより便利です

アップデートの興奮に乗って海外メディア The Verge資格の内部評価への早期アクセスをリリースしました。

少し前、Humane スマート デバイス AI Pin のパフォーマンスが不十分であるとしてネットワーク全体が批判されました。重要なのは、700ドルではそれだけの価値がないということです。

著者は「メタスマートグラスは万能ではないので、過度な期待はすべきではない」と述べています。

テストの楽しみの半分は、限界を見つけることです。

路上にあるこのランダムな車を正しく識別できるでしょうか? （アルファ ロメオ ジュリア クアドリフォリオとアルファ ロメオ トナーレ）。

ほとんどの AI と同様、メタ AI は非常に正確な場合もあれば、幻覚を示す場合もあります。

Giulia を正しく識別しました。しかし、トナーレはジュリアとしても識別されます。

しかし興味深いことに、この 2 台の車にはほとんど類似点がありません。ジュリアはセダンであり、トナーレはクロスオーバー SUV です。

著者はまた、自分が植えた多肉植物を特定するように彼に依頼しました（それらのいくつかは他人から譲り受けたものであり、彼は具体的な品種を十分に知らなかったためです）。

メタさんは「エケベリア、アロエベラ、クラッスラ属の品種」と答えました。

しかし、実際に著者が AI 写真で植物を識別できるアプリケーション Planta を使用して検証したところ、どの植物もエケベリアではないことがわかりました。

最もエキサイティングなことは、著者の恋人が偶然隣家の裏庭で大きなリスを見つけ、それが何であるかを識別するためにスマートグラスを装着したことです。バラエティ。

著者は携帯電話で写真を撮り、別のアプリで試してみました。

案の定、Meta はそれを誤って識別しましたが、作者が使用した APP はそれをマーモットとして識別することに成功しました。

#しかし、スマートグラスを使って携帯電話の写真を識別したところ、確かに「マーモット」という正解が得られました。

この事例は、AR メガネに「ズーム」機能がないことを示しており、誤った答えにつながります。

マルチモーダル認識機能に加えて、筆者が携帯電話と組み合わせてテストしたところ、応答速度も非常に速かったです。同時に、スマートグラスにはサウンド機能が統合されており、眼鏡をかける手間がなくなり、より自然な対話が可能になります。

一般的に、メタ スマート グラスを屋外アクティビティに使用する場合、メタ スマート グラスは物を識別する上で大きな役割を果たします。

以前、筆者は外出時に気になるものを見つけたとき、携帯電話を取り出して写真を撮り、それを特定する必要がありました。

スマート グラスは、識別したいコンテンツが何度も拡大されない限り、携帯電話の機能を非常にうまく拡張することもできます。