Schritt-für-Schritt-Anleitung zur lokalen Verwendung von Groq Llama 3 70B

Übersetzer |. Bugatti

Reviewer |. Chonglou

Dieser Artikel beschreibt, wie man die Groq LPU-Inferenz-Engine verwendet, um ultraschnelle Antworten in Jan AI und VSCode zu generieren.

Alle arbeiten daran, bessere große Sprachmodelle (LLM) zu entwickeln, wie etwa Groq, das sich auf die Infrastrukturseite der KI konzentriert. Die schnelle Reaktion dieser großen Modelle ist der Schlüssel, um sicherzustellen, dass diese großen Modelle schneller reagieren.

Dieses Tutorial stellt die Groq LPU-Parsing-Engine vor und zeigt, wie Sie mithilfe der API und Jan AI lokal auf Ihrem Laptop darauf zugreifen können. In diesem Artikel wird es auch in VSCode integriert, um uns dabei zu helfen, Code zu generieren, Code umzugestalten, Dokumentation einzugeben und Testeinheiten zu generieren. In diesem Artikel erstellen wir kostenlos unseren eigenen Programmierassistenten für künstliche Intelligenz.

Einführung in die Groq LPU-Inferenz-Engine

Die Groq LPU-Inferenz-Engine (Language Processing Unit) ist darauf ausgelegt, schnelle Antworten für rechenintensive Anwendungen mit sequentiellen Komponenten (wie LLM) zu generieren.

Im Vergleich zu CPU und GPU verfügt die LPU über eine höhere Rechenleistung, was die zum Vorhersagen von Wörtern erforderliche Zeit verkürzt und die Generierung von Textsequenzen erheblich beschleunigt. Darüber hinaus kann die LPU im Vergleich zur GPU auch Speicherengpässe bewältigen und bietet so eine bessere Leistung auf LLM.

Kurz gesagt, die Groq LPU-Technologie macht Ihr LLM für Echtzeit-KI-Anwendungen superschnell. Möglicherweise möchten Sie das Groq ISCA 2022-Papier (https://wow.groq.com/isca-2022-paper/) lesen, um mehr über die LPU-Architektur zu erfahren.

Installieren Sie Jan AI

Jan AI ist eine Desktop-Anwendung, die Open-Source- und proprietäre große Sprachmodelle nativ ausführt. Es steht in den Versionen Linux, macOS und Windows zum Download bereit. Wir werden Jan AI herunterladen und unter Windows installieren. Gehen Sie dazu zu https://github.com/janhq/jan/releases und klicken Sie auf die Datei mit der Erweiterung „.exe“.

Wenn Sie LLM lokal verwenden möchten, um den Datenschutz zu verbessern, lesen Sie bitte den Blogbeitrag „5 Möglichkeiten, LLM auf Ihrem Laptop zu verwenden“ (https://www.kdnuggets.com/5-ways-to-use- llms-on-your-laptop) und beginnen Sie mit der Verwendung der fortschrittlichsten Open-Source-Sprachmodelle.

Erstellen Sie eine Groq Cloud API

Um Grog Llama 3 mit Jan AI zu verwenden, benötigen wir eine API. Dazu gehen wir zu https://console.groq.com/ und erstellen ein Groq Cloud-Konto.

Wenn Sie die verschiedenen von Groq bereitgestellten Modelle testen möchten, können Sie dies ohne Einrichtung tun. Gehen Sie einfach zur Registerkarte „Playground“, wählen Sie das Modell aus und fügen Sie Benutzereingaben hinzu.

In diesem Beispiel ist es sehr schnell und generiert 310 Token pro Sekunde, was das schnellste ist, das ich bisher gesehen habe. Nicht einmal Azure AI oder OpenAI können solche Ergebnisse erzielen.

Um einen API-Schlüssel zu generieren, klicken Sie im linken Bereich auf die Schaltfläche „API-Schlüssel“ und dann auf die Schaltfläche „API-Schlüssel erstellen“, um den API-Schlüssel zu erstellen und zu kopieren.

Verwendung von Groq mit Jan AI

Im nächsten Schritt fügen wir den Groq Cloud API-Schlüssel in die Jan AI-Anwendung ein.

Starten Sie die Jan AI-Anwendung, gehen Sie zu den Einstellungen, wählen Sie im Abschnitt „Erweiterungen“ die Option „Groq Inference Engine“ und fügen Sie den API-Schlüssel hinzu.

Kehren Sie dann zum Thread-Fenster zurück. Wählen Sie im Abschnitt „Modell“ im Abschnitt „Remote“ die Option Groq Llama 370B aus, um mit der Eingabe der Eingabeaufforderung zu beginnen.

Die Antworten werden so schnell generiert, dass ich nicht einmal mithalten kann.

HINWEIS: Die kostenlose Version dieser API weist einige Einschränkungen auf. Bitte besuchen Sie https://console.groq.com/settings/limits, um mehr darüber zu erfahren.

Verwenden von Groq in VSCode

Als nächstes werden wir versuchen, denselben API-Schlüssel in die CodeGPT VSCode-Erweiterung einzufügen und unseren eigenen kostenlosen KI-Programmierassistenten zu erstellen.

Suchen Sie auf der Registerkarte „Erweiterungen“ nach der CodeGPT-Erweiterung und installieren Sie sie.

Die Registerkarte „CodeGPT“ wird angezeigt, auf der Sie den Modellanbieter auswählen können.

Wenn Sie Groq als Modellanbieter auswählen, werden Sie nach Ihrem API-Schlüssel gefragt. Fügen Sie einfach denselben API-Schlüssel ein und schon kann es losgehen. Sie können sogar einen weiteren API-Schlüssel für CodeGPT generieren.

Jetzt werden wir es bitten, das Schlangenspiel zu codieren. Das Generieren und Ausführen des Codes dauerte nur 10 Sekunden.

Unser Schlangenspiel wird unten demonstriert.

Sie können sich auch über die fünf besten KI-Programmierassistenten (https://www.kdnuggets.com/top-5-ai-coding-assistants-you-must-try) informieren und ein KI-gesteuerter Programmierer werden Entwickler und Datenwissenschaftler. Denken Sie daran, dass KI uns helfen und nicht ersetzen soll. Seien Sie also offen dafür und nutzen Sie sie, um Ihre Codierung zu verbessern.

Fazit

In diesem Tutorial haben wir etwas über die Groq-Inferenz-Engine gelernt und erfahren, wie man mit der Windows-Anwendung Jan AI lokal darauf zugreift. Schließlich haben wir es mithilfe der CodeGPT VSCode-Erweiterung in unseren Workflow integriert, was großartig ist. Es generiert Antworten in Echtzeit für ein besseres Entwicklungserlebnis.

Originaltitel: Using Groq Llama 3 70B Locally: Schritt-für-Schritt-Anleitung, Autor: Abid Ali Awan

Link: https://www.kdnuggets.com/using-groq-llama-3-70b-locally-step- Schritt-für-Schritt-Anleitung.

Um mehr über AIGC zu erfahren, besuchen Sie bitte:

51CTO AI.x Community

https://www.51cto.com/aigc/