Guide étape par étape pour utiliser Groq Llama 3 70B localement

Traducteur | Bugatti

Reviewer | Chonglou

Cet article décrit comment utiliser le moteur d'inférence Groq LPU pour générer des réponses ultra-rapides dans Jan AI et VSCode.

Tout le monde travaille à la création de meilleurs grands modèles de langage (LLM), tels que Groq, qui se concentre sur le côté infrastructure de l'IA. Une réponse rapide de ces grands modèles est essentielle pour garantir que ces grands modèles réagissent plus rapidement.

Ce tutoriel présentera le moteur d'analyse Groq LPU et comment y accéder localement sur votre ordinateur portable à l'aide de l'API et de Jan AI. Cet article l'intégrera également dans VSCode pour nous aider à générer du code, à refactoriser le code, à saisir la documentation et à générer des unités de test. Cet article créera gratuitement notre propre assistant de programmation d’intelligence artificielle.

Introduction au moteur d'inférence Groq LPU

Le moteur d'inférence Groq LPU (Language Processing Unit) est conçu pour générer des réponses rapides pour les applications à forte intensité de calcul avec des composants séquentiels (tels que LLM).

Par rapport au CPU et au GPU, le LPU dispose d'une puissance de calcul plus puissante, ce qui réduit le temps nécessaire à la prédiction des mots et accélère considérablement la génération de séquences de texte. De plus, LPU peut également gérer les goulots d'étranglement de mémoire par rapport au GPU, offrant ainsi de meilleures performances sur LLM.

En bref, la technologie Groq LPU rend votre LLM ultra rapide pour les applications d'IA en temps réel. Vous souhaiterez peut-être lire l'article Groq ISCA 2022 (https://wow.groq.com/isca-2022-paper/) pour en savoir plus sur l'architecture LPU.

Installer Jan AI

Jan AI est une application de bureau qui exécute nativement de grands modèles de langage open source et propriétaires. Il est disponible en téléchargement dans les versions Linux, macOS et Windows. Nous allons télécharger Jan AI et l'installer sous Windows. Pour ce faire, allez sur https://github.com/janhq/jan/releases et cliquez sur le fichier avec l'extension ".exe".

Si vous souhaitez utiliser LLM localement pour une meilleure confidentialité, veuillez lire le billet de blog « 5 façons d'utiliser LLM sur votre ordinateur portable » (https://www.kdnuggets.com/5-ways-to-use- llms-on-your-laptop) et commencez à utiliser les modèles de langage open source les plus avancés.

Créer une API Groq Cloud

Pour utiliser Grog Llama 3 avec Jan AI, nous avons besoin d'une API. Pour ce faire, nous irons sur https://console.groq.com/ et créerons un compte Groq Cloud.

Si vous souhaitez tester les différents modèles fournis par Groq, vous pouvez le faire sans aucune configuration, accédez simplement à l'onglet Playground, sélectionnez le modèle et ajoutez la saisie de l'utilisateur.

Dans cet exemple, il est très rapide, générant 310 jetons par seconde, ce qui est le plus rapide que j'ai vu jusqu'à présent. Même Azure AI ou OpenAI ne peuvent pas obtenir ce type de résultats.

Pour générer une clé API, cliquez sur le bouton "Clé API" sur le panneau de gauche, puis cliquez sur le bouton "Créer une clé API" pour créer et copier la clé API.

Utiliser Groq avec Jan AI

Dans la prochaine étape, nous collerons la clé API Groq Cloud dans l'application Jan AI.

Lancez l'application Jan AI, accédez aux paramètres, sélectionnez l'option "Groq Inference Engine" dans la section extensions et ajoutez la clé API.

Ensuite, revenez à la fenêtre du fil de discussion. Dans la section Modèle, sélectionnez Groq Llama 370B dans la section « À distance » pour commencer à taper l'invite.

Les réponses sont générées si rapidement que je ne peux même pas suivre.

REMARQUE : La version gratuite de cette API présente certaines limitations. Veuillez visiter https://console.groq.com/settings/limits pour en savoir plus à leur sujet.

Utilisation de Groq dans VSCode

Ensuite, nous essaierons de coller la même clé API dans l'extension CodeGPT VSCode et de créer notre propre assistant de programmation d'IA gratuit.

Recherchez l'extension CodeGPT dans l'onglet extensions, installez-la. L'onglet

CodeGPT apparaîtra vous permettant de sélectionner le fournisseur de modèle.

Lorsque vous sélectionnez Groq comme fournisseur de modèles, il vous demandera votre clé API. Collez simplement la même clé API et nous sommes prêts à partir. Vous pouvez même générer une autre clé API pour CodeGPT.

Maintenant, nous allons lui demander de coder le jeu du serpent. Il n'a fallu que 10 secondes pour générer et exécuter le code.

Notre jeu de serpent est démontré ci-dessous.

Autant en apprendre davantage sur les cinq meilleurs assistants de programmation d'IA (https://www.kdnuggets.com/top-5-ai-coding-assistants-you-must-try) et devenir un expert piloté par l'IA. développeur et data scientist. N'oubliez pas que l'IA est censée nous aider, pas nous remplacer, alors soyez ouvert à elle et utilisez-la pour améliorer votre codage.

Conclusion

Dans ce tutoriel, nous avons découvert le moteur d'inférence Groq et comment y accéder localement à l'aide de l'application Windows Jan AI. Enfin, nous l'avons intégré à notre workflow en utilisant l'extension CodeGPT VSCode, qui est géniale. Il génère des réponses en temps réel pour une meilleure expérience de développement.

Titre original : Utiliser Groq Llama 3 70B localement : Guide étape par étape, auteur : Abid Ali Awan

Lien : https://www.kdnuggets.com/using-groq-llama-3-70b-locally-step- guide étape par étape.

Pour en savoir plus sur l'AIGC, veuillez visiter :

Communauté 51CTO AI.x

https://www.51cto.com/aigc/