Führen Sie lokales LLM (Ollama) in Ihrem NodeJS-Projekt aus.

Wir alle lieben KI, und seit den letzten Jahren hat der Boom der Künstlichen Intelligenz die Welt verändert und führt sie in eine neue Ära. Für jedes Nutzungsproblem gibt es einen Anwendungsfall von KI, sei es die Befragung von Gemini nach einem Kochrezept, Chatgpt für Aufgaben, Claude für die Programmierung, V0 für Frontend-Design, Entwickler und Studenten sind heutzutage so stark von KI abhängig, dass fast jeden Tag ein Startup auftaucht KI.

Das führt dazu, dass sich angehende Entwickler wie ich fragen, wie ich so etwas machen kann? Die Antwort finden Sie nur im Bild oben. API-Aufruf für diese Modelle. Aber sie sind nicht billig und ein arbeitsloser Student wie ich hat keine Möglichkeit, das Abonnement zu kaufen. Daraus entstand die Idee, die KI lokal auszuführen und sie dann am Port für API-Aufrufe bereitzustellen. Dieser Artikel gibt Ihnen eine Schritt-für-Schritt-Anleitung, wie Sie Ollama einrichten und über Ihren NodeJS-Code auf die LLMs zugreifen können.

Ollama installieren

Dieser Schritt ist für Windows-Benutzer. Wenn Sie andere Betriebssysteme verwenden, befolgen Sie diese Anleitung.

• Gehen Sie zu Ollama und laden Sie deren Installationsprogramm herunter.

• Sobald Sie fertig sind, starten Sie das Setup und installieren Sie die Anwendung.

• Dadurch wird der Client auf Ihrem Computer installiert, und jetzt können Sie zum Bibliotheksbereich der offiziellen Website von ollama gehen, um das Modell auszuwählen, das Sie verwenden möchten.

• Hier verwende ich codellama:7b für meine Maschine.
• Öffnen Sie Ihr CMD oder Powershell und führen Sie den Befehl ollama run aus. Dadurch wird das Modell auf Ihren Computer heruntergeladen, falls es noch nicht vorhanden ist, und es wird dann ausgeführt.

Bereitstellung von LLM am Port

• Jetzt haben Sie Ollama auf Ihrem System und verfügen auch über das erforderliche LLM. Der nächste Schritt besteht also darin, es auf dem Port Ihres Computers bereitzustellen, damit Ihre Knoten-App darauf zugreifen kann.
• Bevor Sie fortfahren, schließen Sie Ollama im Hintergrund und prüfen Sie mit diesem Befehl, ob der Ollama zugewiesene Standardport leer ist oder nicht Ollama Serve, wenn dies einen Fehler auslöst, bedeutet das, dass der Port belegt ist.
• Sie müssen diesen Port löschen, bevor Sie fortfahren. Der Standardport für Ollama ist 11434
• Verwenden Sie den folgenden Befehl, um zu überprüfen, welcher Prozess auf diesem Port ausgeführt wird netstat -ano | findstr:11434
• Notieren Sie sich die PID aus dem obigen Ergebnis und verwenden Sie diesen Befehl, um den Port zu löschen. taskkill /PID /F
• Sobald Sie fertig sind, öffnen Sie ein neues cmd-Terminal und führen Sie den folgenden Befehl aus Ollama servieren
• Jetzt sehen Sie so etwas, was bedeutet, dass Ihre LLMs jetzt über API-Aufrufe zugänglich sind.

Verwenden des Ollama-NPM-Pakets für die Verarbeitung von Anforderungsantworten

• Starten Sie Ihr Knotenprojekt, indem Sie den Befehlen folgen

npm init -y
npm i typescript ollama
npx tsc --init

• Dadurch wird ein Repo erstellt, in dem Sie mit der Arbeit beginnen können. Gehen Sie zunächst zur Datei tsconfig.json, entfernen Sie das Kommentarzeichen und legen Sie diese Werte fest

"rootDir": "./src",
"outDir": "./dist",

• Erstellen Sie einen src-Ordner und erstellen Sie innerhalb des Ordners die Datei index.js.

import ollama from 'ollama';

async function main() {
    const response = await ollama.chat({
        model: 'codellama:7b',
        messages: [
            {
                role: 'user', 
                content: 'What color is the sky?'
            }
        ],
    })
    console.log(response.message.content)

}

main()

• Bearbeiten Sie nun die Skripte in package.json, bevor Sie den Code ausführen

"scripts": {
    "dev": "tsc -b && node dist/index.js"
  },

• Dies würde den TS-Code zum Ausführen in JS-Code umwandeln.
• Führen Sie die Anwendung mit dem Befehl aus npm führen Sie dev im Terminal aus.

• Da sind Sie. Endlich können Sie mit nodejs auf Ihr lokales LLM zugreifen.
• Mehr über das Node-Paket Ollama können Sie hier lesen.

Vielen Dank fürs Lesen. Ich hoffe, dieser Artikel könnte Ihnen auf jeden Fall helfen. Wenn ja, dann können Sie sich gerne in meinen sozialen Netzwerken vernetzen!

Linkedin | Github

Das obige ist der detaillierte Inhalt vonFühren Sie lokales LLM (Ollama) in Ihrem NodeJS-Projekt aus.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!