在本指南中，您将学习如何在本地计算机上运行大型语言模型 (LLM) 并创建您自己的 LLM。我们还将介绍如何使用 Node.js 中的 ollama-js 库为您的自定义模型创建 API。
Ollama 是本地运行 LLM 的理想选择，因为它简单且与非 GPU 密集型机器兼容。首先从官方网站安装Ollama：
Ollama 官方网站
安装 Ollama 后，您可以从多种可用的 LLM 模型中进行选择。您可以在其 GitHub 存储库上找到可用模型的列表：
Ollama GitHub 存储库
要在本地运行模型，请在终端中使用以下命令。请注意，第一次运行可能需要更长的时间，因为 Ollama 在本地下载并存储模型。由于模型是在本地访问的，后续运行会更快。
ollama run {model_name}
要创建自定义 LLM，您需要创建一个模型文件。以下是如何定义模型的示例：
FROM <name_of_your_downloaded_model> # Define your parameters here PARAMETER temperature 0.5 SYSTEM """ You are an English teaching assistant named Mr. Kamal Kishor. You help with note-making, solving English grammar assignments, and reading comprehensions. """
将其保存为模型文件。要从此文件创建模型，请在终端中运行以下命令：
ollama create mrkamalkishor -f ./modelfile
创建模型后，您可以使用以下方式在本地与其交互：
ollama run mrkamalkishor
在这一步中，我们将使用 ollama-js 库在 Node.js 中创建 API。
npm install ollama
import express from 'express';
import ollama from 'ollama';
const app = express();
const router = express.Router();
app.use(express.json());
router.post('/ask-query', async (req, res) => {
const { query } = req.body;
try {
const response = await ollama.chat({
model: 'mrkamalkishor',
messages: [{ role: 'user', content: query }],
});
res.json({ reply: response.message.content });
} catch (error) {
res.status(500).send({ error: 'Error interacting with the model' });
}
});
app.use('/api', router);
const PORT = process.env.PORT || 3000;
app.listen(PORT, () => {
console.log(`Server is running on port ${PORT}`);
});
此代码设置了一个带有端点的 Express.js 服务器，以与您的自定义模型进行交互。当使用包含用户查询的 JSON 正文向 /ask-query 发出 POST 请求时，服务器会使用模型的输出进行响应。
通过执行以下步骤，您可以安装 Ollama、在本地选择并运行 LLM、创建自定义 LLM，并设置 Node.js API 与之交互。此设置允许您在本地计算机上利用强大的语言模型，而无需 GPU 密集型硬件。
以上是使用 Ollama 通过 Node.js API 在本地运行和创建您自己的 LLM的详细内容。更多信息请关注PHP中文网其他相关文章！
