近期,OpenAI Translator 和 NextChat 都开始支持 Ollama 本地运行的大型语言模型了,这对「新手上路」的爱好者来说,又多了一种新玩法。
而且 Ollama on Windows(预览版)的推出,完全颠覆了在 Windows 设备上进行 AI 开发的方式,它为 AI 领域的探索者和普通的「试水玩家」指引了一条明确的道路。
Ollama 是一款开创性的人工智能(AI)和机器学习(ML)工具平台,它极大地简化了 AI 模型的开发和使用过程。
在技术社区里,AI 模型的硬件配置和环境搭建一直是个棘手的问题,而 Ollama 正是为了解决这样的关键需求而出现的:
在众多 AI 工具中,Ollama 凭借以下几个关键优势脱颖而出,这些特性不仅彰显了其独特性,更解决了 AI 开发者和爱好者们最常遇到的难题:
Ollama 通过这些精心设计的功能特性,不仅解决了 AI 开发中的常见难题,还让更多的人能够轻松地接触和应用先进的 AI 技术,极大地扩展了 AI 的应用前景。
欢迎迈入 AI 和 ML 的新时代!接下来,我们将带你完成上手的每一步,还会提供一些实用的代码和命令示例,确保你一路畅通。
1访问 Ollama Windows Preview 页面,下载OllamaSetup.exe
安装程序。
2双击文件,点击「Install」开始安装。
3安装完成之后,就可以开始在 Windows 上使用 Ollama 了,是不是非常简单。
要启动 Ollama 并从模型库中获取开源 AI 模型,请按以下步骤操作:
1在「开始」菜单中点击 Ollama 图标,运行后会在任务栏托盘中驻留一个图标。
2右键点击任务栏图标,选择「View log」打开命令行窗口。
3执行以下命令来运行 Ollama,并加载模型:
ollama run [modelname]
执行以上命令后,Ollama 将开始初始化,并自动从 Ollama 模型库中拉取并加载所选模型。一旦准备就绪,就可以向它发送指令,它会利用所选模型来进行理解和回应。
记得将modelname
名称换成要运行的模型名称,常用的有:
模型 | 参数 | 大小 | 安装命令 | 发布组织 |
---|---|---|---|---|
Llama 2 | 7B | 3.8GB | ollama run llama2 |
Meta |
Code Llama | 7B | 3.8GB | ollama run codellama |
Meta |
Llama 2 13B | 13B | 7.3GB | ollama run llama2:13b |
Meta |
Llama 2 70B | 70B | 39GB | ollama run llama2:70b |
Meta |
Mistral | 7B | 4.1GB | ollama run mistral |
Mistral AI |
mixtral | 8x7b | 26GB | ollama run mixtral:8x7b |
Mistral AI |
Phi-2 | 2.7B | 1.7GB | ollama run phi |
Microsoft Research |
LLaVA | 7B | 4.5GB | ollama run llava |
Microsoft Research Columbia University Wisconsin |
Gemma 2B | 2B | 1.4GB | ollama run gemma:2b |
|
Gemma 7B | 7B | 4.8GB | ollama run gemma:7b |
|
Qwen 4B | 4B | 2.3GB | ollama run qwen:4b |
Alibaba |
Qwen 7B | 7B | 4.5GB | ollama run qwen:7b |
Alibaba |
Qwen 14B | 14B | 8.2GB | ollama run qwen:14b |
Alibaba |
运行 7B 至少需要 8GB 内存,运行 13B 至少需要 16GB 内存。
如前所述,Ollama 支持通过各种各样的开源模型来完成不同的任务,下面就来看看怎么使用。
ollama run llava1.6
Ollama 会使用你选择的模型来分析这张图片,并给你一些结果,比如图片的内容和分类,图片是否有修改,或者其他的分析等等(取决于所使用的模型)。
我们不可能只通过命令行来使用,将应用程序连接到 Ollama API 是一个非常重要的步骤。这样就可以把 AI 的功能整合到自己的软件里,或者在 OpenAI Translator 和 NextChat 这类的前端工具中进行调用。
以下是如何连接和使用 Ollama API 的步骤:
http://localhost:11434
,可以在安装 Ollama 的系统中直接调用。1右击点击任务栏图标,选择「Quit Ollama」退出后台运行。
2使用Windows + R
快捷键打开「运行」对话框,输出以下命令,然后按Ctrl + Shift + Enter
以管理员权限启动「环境变量」。
C:Windowssystem32rundll32.exe sysdm.cpl, EditEnvironmentVariables
3要更改侦听地址和端口,可以添加以下环境变量:
OLLAMA_HOST
:8000
只填写端口号可以同时侦听(所有) IPv4 和 IPv6 的:8000
端口。
要使用 IPv6,需要 Ollama 0.0.20 或更新版本。
4如果安装了多个模型,可以通过OLLAMA_MODELS
变量名来指定默认模型。
5更改完之后,重新运行 Ollama。然后在浏览器中测试访问,验证更改是否成功。
6示例 API 调用: 要使用 Ollama API,可以在自己的程序里发送 HTTP 请求。下面是在「终端」里使用curl
命令给 Gemma 模型发送文字提示的例子:
curl http://192.168.100.10:8000/api/generate -d '{ "model": "gemma:7b", "prompt": "天空为什么是蓝色的?" }'
返回响应的格式,目前只支持 Json 格式。
# 查看 Ollama 版本 ollama -v # 查看已安装的模型 ollama list # 删除指定模型 ollama rm [modelname] # 模型存储路径 # C:Users\.ollamamodels
按照上述步骤,并参考命令示例,你可以在 Windows 上尽情体验 Ollama 的强大功能。不管是在命令行中直接下达指令,通过 API 将 AI 模型集成到你的软件当中,还是通过前端套壳,Ollama 的大门都已经为你敞开。
要让 Ollama 在 Windows 上充分发挥最大潜力,需要注意以下几点最佳实践和技巧,这将帮助你优化性能并解决一些常见问题:
在本教程中,我们学习了如何在 Windows 上安装和使用 Ollama,包括安装 Ollama、执行基础命令、使用 Ollama 模型库,以及通过 API 连接 Ollama。建议你深入研究 Ollama,并尝试各种不同的模型。
Ollama 的潜力无限,借助它,你可以实现更多可能!
以上是Windows on Ollama:本地运行大型语言模型(LLM)的新利器的详细内容。更多信息请关注PHP中文网其他相关文章!