Groq Llama 3 70B をローカルで使用するためのステップバイステップ ガイド

翻訳者 | Bugatti

レビュー担当者 | Chonglou

この記事では、Groq LPU 推論エンジンを使用して Jan AI と VSCode で超高速応答を生成する方法について説明します。

AI のインフラストラクチャ側に焦点を当てた Groq など、誰もがより優れた大規模言語モデル (LLM) の構築に取り組んでいます。これらの大型モデルがより迅速に応答するためには、これらの大型モデルからの迅速な応答が鍵となります。

このチュートリアルでは、Groq LPU 解析エンジンと、API と Jan AI を使用してラップトップ上でローカルにアクセスする方法を紹介します。この記事では、これを VSCode に統合して、コードの生成、コードのリファクタリング、ドキュメントの入力、テスト ユニットの生成を支援します。この記事では、独自の人工知能プログラミングアシスタントを無料で作成します。

Groq LPU 推論エンジンの概要

Groq LPU (Language Processing Unit) 推論エンジンは、シーケンシャル コンポーネントを持つ計算集約型のアプリケーション (LLM など) に対して高速な応答を生成するように設計されています。

CPU や GPU と比較して、LPU はより強力な計算能力を備えているため、単語の予測に必要な時間が短縮され、テキスト シーケンスの生成が大幅に高速化されます。さらに、LPU は GPU と比較してメモリのボトルネックにも対応できるため、LLM でのパフォーマンスが向上します。

つまり、Groq LPU テクノロジーにより、リアルタイム AI アプリケーション向けの LLM が超高速になります。 LPU アーキテクチャの詳細については、Groq ISCA 2022 ペーパー (https://wow.groq.com/isca-2022-paper/) を参照してください。

Jan AI をインストールする

Jan AI は、オープンソースおよび独自の大規模言語モデルをネイティブに実行するデスクトップ アプリケーションです。 Linux、macOS、Windows バージョンでダウンロードできます。 Jan AI をダウンロードして Windows にインストールします。これを行うには、https://github.com/janhq/jan/releases にアクセスし、拡張子「.exe」を持つファイルをクリックします。

プライバシーを強化するためにローカルで LLM を使用したい場合は、「ラップトップで LLM を使用する 5 つの方法」のブログ投稿 (https://www.kdnuggets.com/5-ways-to-use-) をお読みください。 llms-on-your-laptop) を使用して、最先端のオープンソース言語モデルの使用を開始します。

Groq Cloud API を作成する

Jan AI で Grog Llama 3 を使用するには、API が必要です。これを行うには、https://console.groq.com/ にアクセスし、Groq Cloud アカウントを作成します。

Groq が提供するさまざまなモデルをテストしたい場合は、セットアップを行わずに実行できます。[プレイグラウンド] タブに移動してモデルを選択し、ユーザー入力を追加するだけです。

この例では、非常に高速で、1 秒あたり 310 個のトークンを生成します。これは、これまで見た中で最速です。 Azure AI や OpenAI でさえ、この種の結果を達成することはできません。

API キーを生成するには、左側のパネルの [API キー] ボタンをクリックし、次に [API キーの作成] ボタンをクリックして API キーを作成してコピーします。

Jan AI で Groq を使用する

次のステップでは、Groq Cloud API キーを Jan AI アプリケーションに貼り付けます。

Jan AI アプリケーションを起動し、設定に移動し、拡張機能セクションで「Groq Inference Engine」オプションを選択し、API キーを追加します。

その後、スレッドウィンドウに戻ります。 [モデル] セクションの [リモート] セクションで Groq Llama 370B を選択し、プロンプトの入力を開始します。

レスポンスが非常に速く生成されるので、追いつくこともできません。

注: この API の無料版にはいくつかの制限があります。詳細については、https://console.groq.com/settings/limits にアクセスしてください。

VSCode で Groq を使用する

次に、同じ API キーを CodeGPT VSCode 拡張機能に貼り付けて、独自の無料 AI プログラミング アシスタントを構築してみます。

拡張機能タブでCodeGPT拡張機能を検索し、インストールします。

CodeGPT タブが表示され、モデルプロバイダーを選択できます。

Groq をモデルプロバイダーとして選択すると、API キーの入力を求められます。同じ API キーを貼り付けるだけで準備完了です。 CodeGPT 用の別の API キーを生成することもできます。

今度は、ヘビ ゲームのコーディングを依頼します。コードの生成と実行には 10 秒しかかかりませんでした。

私たちのヘビゲームを以下に示します。

上位 5 つの AI プログラミング アシスタント (https://www.kdnuggets.com/top-5-ai-coding-assistants-you-must-try) について学び、AI ドリブンになるのもよいでしょう。開発者およびデータサイエンティスト。 AI は私たちを助けるものであり、私たちに取って代わるものではないことを忘れないでください。そのため、AI をオープンに受け入れ、コーディングを改善するために活用してください。

結論

このチュートリアルでは、Groq 推論エンジンと、Jan AI Windows アプリケーションを使用してローカルでそれにアクセスする方法について学びました。最後に、CodeGPT VSCode 拡張機能を使用して、これをワークフローに統合しました。これは素晴らしいことです。リアルタイムで応答を生成し、開発エクスペリエンスを向上させます。

原題:Using Groq Llama 3 70B Locally: Step by Step Guide、著者: Abid Ali Awan

リンク: https://www.kdnuggets.com/using-groq-llama-3-70b-locally-step-バイステップガイド。

AIGC について詳しくは、こちらをご覧ください:

51CTO AI.x コミュニティ

https://www.51cto.com/aigc/