在您的 Node.js 项目中运行本地 LLM (Ollama)。

我们都热爱人工智能，近年来人工智能的蓬勃发展改变了世界，并将其带入了一个新时代。对于任何使用问题，都有一个人工智能的用例，比如向 Gemini 询问烹饪食谱，Chatgpt 询问作业，Claude 询问编程， V0 对于前端设计，开发人员和学生现在非常依赖人工智能，这导致几乎每天都有一家初创公司出现人工智能。

这导致像我这样有抱负的开发者问如何才能制作这样的东西？答案只在上图中。对这些模型的 API 调用。但是，它们并不便宜，像我这样的失业学生没有办法购买订阅。这就产生了在本地运行 AI，然后在端口上提供服务以进行 API 调用的想法。本文将逐步指导您如何设置 Ollama 并通过 Nodejs 代码访问 LLM。

安装 Ollama

此步骤适用于 Windows 用户。如果您使用其他操作系统，请按照本指南操作。

• 前往 Ollama，下载他们的安装程序。

• 完成后，启动设置并安装应用程序。

• 这将在您的计算机上安装客户端，现在您可以前往ollama官方网站的库部分选择您想要使用的模型。

• 在这里，我将在我的机器上使用 codellama:7b。
• 打开您的 CMD 或 Powershell 并运行命令 ollama run ，这将在您的计算机上下载模型（如果模型尚不存在），然后运行它。

在港口提供法学硕士

• 现在您的系统上已经有了 Ollama，并且还拥有所需的 LLM，因此下一步是将其提供到您计算机的端口上，以便您的节点应用程序访问它。
• 在继续之前，请从后台关闭 Ollama 并使用此命令检查分配给 ollama 的默认端口是否为空 ollama 服务，如果抛出错误则表示端口被占用。
• 您需要先清除该端口才能继续，Ollama 的默认端口是 11434
• 使用以下命令检查该端口上正在运行什么进程 网络统计-ano |查找字符串：11434
• 记下上面结果中的PID并使用此命令清除端口。 taskkill /PID ; /F
• 完成后打开新的cmd终端并运行以下命令 乌拉马服务
• 现在您将看到类似这样的内容，这意味着您的 LLM 现在可以通过 API 调用访问。

使用 ollama npm 包进行请求响应处理

• 按照命令启动您的节点项目

npm init -y
npm i typescript ollama
npx tsc --init

• 这将为您创建一个存储库以开始工作，首先转到 tsconfig.json 文件，取消注释并设置这些值

"rootDir": "./src",
"outDir": "./dist",

• 创建一个 src 文件夹并在该文件夹内创建 index.js 文件。

import ollama from 'ollama';

async function main() {
    const response = await ollama.chat({
        model: 'codellama:7b',
        messages: [
            {
                role: 'user', 
                content: 'What color is the sky?'
            }
        ],
    })
    console.log(response.message.content)

}

main()

• 现在，在运行代码之前，编辑 package.json 中的脚本

"scripts": {
    "dev": "tsc -b && node dist/index.js"
  },

• 这会将 ts 代码构建成 js 代码来运行。
• 使用命令运行应用程序 在终端内运行 npm run dev。

• 你来了。终于能够使用nodejs访问本地LLM了。
• 您可以在此处阅读有关节点包 ollama 的更多信息。

感谢您的阅读，希望这篇文章能够在任何情况下为您提供帮助，如果有帮助，请随时在我的社交媒体上联系！

Linkedin | GitHub

以上是在您的 Node.js 项目中运行本地 LLM (Ollama)。的详细内容。更多信息请关注PHP中文网其他相关文章！