Exécution d'un LLM local (Ollama) dans votre projet nodejs.

Nous aimons tous l'IA, et depuis ces dernières années, le boom de l'intelligence artificielle a changé le monde et l'a fait entrer dans une nouvelle ère. Pour tout problème d'utilisation, il existe un cas d'utilisation de l'IA, à savoir demander à Gemini une recette de cuisine, Chatgpt pour les devoirs, Claude pour la programmation, V0 pour la conception frontend, les développeurs et les étudiants sont tellement dépendants de l'IA de nos jours, ce qui conduit presque chaque nouveau jour à l'émergence d'une startup présentant IA.

Cela amène les développeurs en herbe comme moi à se demander comment puis-je créer quelque chose comme ça ? La réponse se trouve uniquement dans l’image ci-dessus. Appel API à ces modèles. Mais ils ne sont pas bon marché et un étudiant au chômage comme moi n’a aucun moyen d’acheter l’abonnement. Cela a conduit à l'idée d'exécuter l'IA localement, puis de la servir sur le port pour les appels API. Cet article vous donnera un guide étape par étape sur la façon dont vous pouvez configurer Ollama et accéder aux LLM via votre code nodejs.

Installation d'Ollama

Cette étape est destinée aux utilisateurs de Windows. Si vous utilisez d'autres systèmes d'exploitation, suivez ce guide.

• Rendez-vous sur Ollama et téléchargez leur programme d'installation.

• Une fois terminé, lancez la configuration et installez l'application.

• Cela installera ensuite le client sur votre machine, et vous pourrez désormais vous rendre dans la section bibliothèque du site officiel d'ollama pour choisir le modèle que vous souhaitez utiliser.

• Ici, j'utiliserai codellama:7b pour ma machine.
• Ouvrez votre CMD ou Powershell et exécutez la commande ollama run , cela téléchargera le modèle sur votre machine s'il n'existe pas déjà et l'exécutera ensuite.

Au service du LLM sur le port

• Maintenant, vous avez Ollama sur votre système et disposez également du LLM requis, la prochaine étape serait donc de le servir sur le port de votre machine pour que votre application de nœud puisse y accéder.
• Avant de continuer, fermez l'Ollama en arrière-plan et vérifiez si le port par défaut attribué à l'ollama est vide ou non en utilisant cette commande ollama serve, si cela génère une erreur, cela signifie que le port est occupé.
• Vous devrez effacer ce port avant de continuer, le port par défaut pour Ollama est 11434
• Utilisez la commande suivante pour vérifier quel processus est en cours d'exécution sur ce port netstat -ano | findstr : 11434
• Notez le PID du résultat ci-dessus et utilisez cette commande pour effacer le port. taskkill /PID /F
• Une fois terminé, ouvrez un nouveau terminal cmd et exécutez la commande suivante ollama servir
• Vous verrez maintenant quelque chose comme ceci, ce qui signifie que vos LLM sont désormais accessibles via des appels API.

Utilisation du package ollama npm pour la gestion des réponses aux demandes

• Démarrez votre projet de nœud en suivant les commandes

npm init -y
npm i typescript ollama
npx tsc --init

• cela créera un dépôt pour que vous puissiez commencer à travailler, rendez-vous d'abord dans le fichier tsconfig.json, décommentez et définissez ces valeurs

"rootDir": "./src",
"outDir": "./dist",

• Créez un dossier src et à l'intérieur du dossier, créez le fichier index.js.

import ollama from 'ollama';

async function main() {
    const response = await ollama.chat({
        model: 'codellama:7b',
        messages: [
            {
                role: 'user', 
                content: 'What color is the sky?'
            }
        ],
    })
    console.log(response.message.content)

}

main()

• Maintenant, avant d'exécuter le code, modifiez les scripts dans package.json

"scripts": {
    "dev": "tsc -b && node dist/index.js"
  },

• Cela construirait le code ts en code js pour l'exécution.
• Exécutez l'application en utilisant la commande npm exécutez dev dans le terminal.

• Voilà. Pouvoir enfin accéder à votre LLM local avec nodejs.
• Vous pouvez en savoir plus sur le package de nœuds ollama ici.

Merci d'avoir lu, j'espère que cet article pourra vous aider dans tous les cas et si c'est le cas, n'hésitez pas à vous connecter sur mes réseaux sociaux !

Linkedin | Github

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!