Chrome API を使用したローカル AI

人工知能 (AI) を使用するほとんどの製品は、API の消費を通じてこれを実行し、次にサーバーに接続して結果を Web に返すのが一般的です。これは、タスクが集中的で多くの処理能力を必要とする場合に非常に意味があります。

しかし、単純なタスクに対してより効率的なオプションはあるでしょうか?

Chrome チームは、Gemini Nano モデルをローカルで操作できる API を実験的に起動しました。これにより、複雑なタスクに Gemini Pro 1.5 などのより大きなモデルを使用する必要がなくなります。

主な違い

1. ローカル統合: モデルをデプロイする必要はありません。ブラウザに直接統合されているため、ダウンロード、更新、改善を管理します。開発者は、それをアプリケーションに統合することだけを考慮する必要があります。

2. ダウンロード効率: アプリケーションにモデルをダウンロードする必要がないため、効率が向上します。 Web のコンテキストでは、小さなモデルでもサイズが大きくなる可能性があります。たとえば、transformer.js モデルの重さは約 60MB です。

3. パフォーマンスの向上: このローカル統合により、GPU などのデバイス リソースへのアクセスが可能になり、パフォーマンスが大幅に向上します。

モデルをローカルで実行する利点

• サーバーへの呼び出しの保存: サーバーへの絶え間ないクエリを回避することで、Web アプリケーションの効率が向上し、待ち時間が短縮されます。

• プライバシー: データはデバイス上に残り、外部サーバーにデータを送信する必要がないため、セキュリティがさらに強化されます。

• オフライン使用: ダウンロードすると、モデルはデバイス上で利用可能になり、インターネット接続なしで使用できるようになります。

ハイブリッドアーキテクチャ

ローカル モデルは効率的ですが、サーバーを完全に廃棄することはできません。これは、より複雑なタスクを処理する場合にも必要になります。重要なのは、「スイート スポット」、つまり、いつローカル モデルを使用し、いつサーバーに頼るかを決定する最適なポイントを見つけることです。

さらに、統合モデルは、サーバー障害やインターネット接続の欠如が発生した場合のバックアップとして機能します。

制限事項

小規模なモデルであり、ブラウザーで実行するように最適化されているため、容量がより制限されています。現時点では、翻訳、要約、テキストの改善などの特定のタスクに使用することをお勧めします。これらのタイプのモデルは、特定のタスクに対してより効率的であるため、「エキスパート モデル」として知られています。

実験プログラムに参加する

この API を試したい場合は、このリンクのフォームに記入して実験プログラムに参加できます。 API の更新や変更に関する最新情報を入手できるドキュメントと Google グループにアクセスできるようになります。

この API の使用を開始する方法と利用可能な機能については、次の投稿で学習します。

以上がChrome API を使用したローカル AIの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。