Windows on Ollama:本地運行大型語言模型(LLM)的新利器

王林
發布: 2024-02-28 14:43:16
轉載
1463 人瀏覽過

Windows on Ollama:本地运行大型语言模型(LLM)的新利器

#

近期,OpenAI Translator 和 NextChat 都開始支援 Ollama 在本地運行的大型語言模型了,這對「新手上路」的愛好者來說,又多了一種新玩法。

而 Ollama on Windows(預覽版)的推出,完全顛覆了在 Windows 裝置上進行 AI 開發的方式,它為 AI 領域的探索者和普通的「試水玩家」指引了一條明確的道路。

什麼是 Ollama?

#Ollama 是一款開創性的人工智慧(AI)和機器學習(ML)工具平台,它大大簡化了 AI 模型的開發和使用過程。

在科技社群裡,AI 模式的硬體配置和環境建構一直是個棘手的問題,而 Ollama 正是為了解決這樣的關鍵需求而出現的:

  • 它不僅提供了一系列工具,更重要的是,這些工具使用起來非常直觀且高效,不管你是AI 領域的專業人士還是初涉此道的新手,都能在Ollama 上找到對應的支持。
  • 不只方便使用,Ollama 也讓先進的 AI 模型和運算資源的取得不再侷限於少數人。對 AI 和 ML 社群而言,Ollama 的誕生具有里程碑意義,它推動了 AI 技術的普及,讓更多的人能夠嘗試實踐自己的 AI 創意。

為什麼 Ollama 能夠脫穎而出?

#在眾多 AI 工具中,Ollama 憑藉以下幾個關鍵優勢脫穎而出,這些特性不僅彰顯了其獨特性,更解決了 AI 開發者和愛好者們最常遇到的難題:

  • 自動硬體加速:Ollama 能自動辨識並充分利用 Windows 系統中的最優硬體資源。無論你是配備了 NVIDIA GPU,或是 CPU 支援 AVX、AVX2 這樣先進的指令集,Ollama 都能實現針對性最佳化,確保 AI 模型更有效率地運作。有了它,就不用再頭痛於複雜的硬體配置問題了,你可以將更多的時間和精力都集中在專案本身。
  • 無需虛擬化:在進行 AI 開發時,過去常常需要搭建虛擬機器或配置複雜的軟體環境。而 Ollama 讓這一切不再成為阻礙,直接就能開始 AI 專案的開發,整個流程變得簡單又快速。對於想嘗試 AI 技術的個人或組織來說,這種便利性降低了許多門檻。
  • 接入完整的 Ollama 模型庫:Ollama 為用戶提供了豐富的 AI 模型庫,包括像 LLaVA 這樣的先進圖像識別模型和 Google 最新推出的 Gemma 模型等。擁有這樣一個全面的「武器庫」,我們可以輕鬆嘗試應用各種開源模型,而不用自己費時費力地去搜尋整合。無論你想進行文字分析、影像處理,或是其他 AI 任務,Ollama 的模型庫都能提供強而有力的支援。
  • Ollama 的常駐 API:在軟體互聯的今天,將 AI 功能整合到自己的應用中極具價值。 Ollama 的常駐 API 大大簡化了這個過程,它會在後台默默運行,隨時準備將強大的 AI 功能與你的專案無縫對接,而無需額外的複雜設定。有了它,Ollama 豐富的 AI 能力會隨時待命,能自然地融入你的開發流程,進一步提升工作效率。

Ollama 透過這些精心設計的功能特性,不僅解決了 AI 開發中的常見難題,還讓更多的人能夠輕鬆地接觸和應用先進的 AI 技術,大大擴展了 AI 的應用前景。

在 Windows 上使用 Ollama

歡迎邁入 AI 和 ML 的新時代!接下來,我們將帶你完成上手的每一步,還會提供一些實用的程式碼和指令範例,確保你一路暢通。

步驟 1:下載與安裝

#1造訪 Ollama Windows Preview 頁面,下載OllamaSetup.exe安裝程式。

2雙擊文件,點選「Install」開始安裝。

3安裝完成之後,就可以開始在 Windows 上使用 Ollama 了,是不是非常簡單。

步驟 2:啟動 Ollama 並取得模型

要啟動 Ollama 並從模型庫中取得開源 AI 模型,請依照下列步驟操作:

1在「開始」功能表中點擊 Ollama 圖標,運行後會在工作列托盤中駐留一個圖標。

2右鍵點選工作列圖標,選擇「View log」開啟命令列視窗。

3執行以下命令來運行 Ollama,並載入模型:

ollama run [modelname]
登入後複製

執行上述指令後,Ollama 將開始初始化,並自動從 Ollama 模型庫中拉取並載入所選模型。一旦準備就緒,就可以向它發送指令,它會利用所選模型來進行理解和回應。

記得將modelname名稱換成要執行的模型名稱,常用的有:

模型 參數 大小 安裝指令 發布組織
Llama 2 7B 3.8GB ollama run llama2 Meta
Code Llama 7B 3.8GB ollama run codellama Meta
Llama 2 13B 13B 7.3GB ollama run llama2:13b #Meta
Llama 2 70B 70B 39GB ollama run llama2:70b #Meta
Mistral 7B 4.1GB ollama run mistral Mistral AI
mixtral 8x7b 26GB ollama run mixtral:8x7b #Mistral AI
Phi-2 2.7B 1.7GB ollama run phi Microsoft Research
LLaVA 7B 4.5GB ollama run llava Microsoft Research
Columbia University
Wisconsin
Gemma 2B 2B 1.4GB ollama run gemma:2b #Google
Gemma 7B 7B 4.8GB ollama run gemma:7b #Google
Qwen 4B 4B 2.3GB ollama run qwen:4b Alibaba
Qwen 7B 7B 4.5GB ollama run qwen:7b Alibaba
Qwen 14B 14B 8.2GB ollama run qwen:14b #Alibaba

运行 7B 至少需要 8GB 内存,运行 13B 至少需要 16GB 内存。

步骤 3:使用模型

如前所述,Ollama 支持通过各种各样的开源模型来完成不同的任务,下面就来看看怎么使用。

  • 基于文本的模型:加载好文本模型后,就可以直接在命令行里输入文字开始与模型「对话」。例如,阿里的 Qwen(通义千问):
  • 基于图像的模型:如果你想使用图像处理模型,如 LLaVA 1.6,可以使用以下命令来加载该模型:
ollama run llava1.6
登入後複製

Ollama 会使用你选择的模型来分析这张图片,并给你一些结果,比如图片的内容和分类,图片是否有修改,或者其他的分析等等(取决于所使用的模型)。

步骤 4:连接到 Ollama API

我们不可能只通过命令行来使用,将应用程序连接到 Ollama API 是一个非常重要的步骤。这样就可以把 AI 的功能整合到自己的软件里,或者在 OpenAI Translator 和 NextChat 这类的前端工具中进行调用。

以下是如何连接和使用 Ollama API 的步骤:

  • 默认地址和端口:Ollama API 的默认地址是http://localhost:11434,可以在安装 Ollama 的系统中直接调用。
  • 修改 API 的侦听地址和端口:如果要在网络中提供服务,可以修改 API 的侦听地址和端口。

1右击点击任务栏图标,选择「Quit Ollama」退出后台运行。

2使用Windows + R快捷键打开「运行」对话框,输出以下命令,然后按Ctrl + Shift + Enter以管理员权限启动「环境变量」。

C:Windowssystem32rundll32.exe sysdm.cpl, EditEnvironmentVariables
登入後複製

3要更改侦听地址和端口,可以添加以下环境变量:

  • 变量名:OLLAMA_HOST
  • 变量值(端口)::8000

只填写端口号可以同时侦听(所有) IPv4 和 IPv6 的:8000端口。

要使用 IPv6,需要 Ollama 0.0.20 或更新版本。

4如果安装了多个模型,可以通过OLLAMA_MODELS变量名来指定默认模型。

5更改完之后,重新运行 Ollama。然后在浏览器中测试访问,验证更改是否成功。

6示例 API 调用: 要使用 Ollama API,可以在自己的程序里发送 HTTP 请求。下面是在「终端」里使用curl命令给 Gemma 模型发送文字提示的例子:

curl http://192.168.100.10:8000/api/generate -d '{ "model": "gemma:7b", "prompt": "天空为什么是蓝色的?" }'
登入後複製

返回响应的格式,目前只支持 Json 格式。

Ollama 的常用命令有:

# 查看 Ollama 版本 ollama -v # 查看已安装的模型 ollama list # 删除指定模型 ollama rm [modelname] # 模型存储路径 # C:Users\.ollamamodels
登入後複製

按照上述步骤,并参考命令示例,你可以在 Windows 上尽情体验 Ollama 的强大功能。不管是在命令行中直接下达指令,通过 API 将 AI 模型集成到你的软件当中,还是通过前端套壳,Ollama 的大门都已经为你敞开。

Ollama on Windows 的最佳实践

要让 Ollama 在 Windows 上充分发挥最大潜力,需要注意以下几点最佳实践和技巧,这将帮助你优化性能并解决一些常见问题:

優化 Ollama 的效能:

  • 檢查硬體配置: 確保你的設備符合 Ollama 建議的硬體要求,尤其是運行大型模型時。如果你有 NVIDIA GPU,還可以享受 Ollama 提供的自動硬體加速,大幅提升運算速度。
  • 更新驅動程式: 將顯示卡驅動程式保持為最新版本,以確保與 Ollama 的相容性和最佳效能。
  • 釋放系統資源:執行大型模型或執行複雜任務時,請關閉不必要的程序,釋放系統資源。
  • 選擇合適模型:根據任務需求選擇合適的模型。大參數模型雖然可能更準確,但對算力的要求也更高。對於簡單任務,使用小參數模型更有效率。

Ollama 常見問題解答

#安裝問題

  • 確保你的 Windows 系統是最新版本。
  • 確保你擁有安裝軟體所需的權限。
  • 嘗試以管理員身分執行安裝程式。

模型載入錯誤

  • 檢查輸入的命令是否正確。
  • 確認模型名稱與 Ollama 模型庫中的名稱相符。
  • 檢查 Ollama 版本並進行更新。

Ollama API 連線問題

  • 確保 Ollama 正在運行。
  • 檢查偵聽位址和端口,特別是端口是否被其他應用佔用。

在本教學中,我們學習如何在 Windows 上安裝和使用 Ollama,包括安裝 Ollama、執行基礎命令、使用 Ollama 模型庫,以及透過 API 連接 Ollama。建議你深入研究 Ollama,並嘗試各種不同的模型。

Ollama 的潛力無限,借助它,你可以實現更多可能!

以上是Windows on Ollama:本地運行大型語言模型(LLM)的新利器的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:mryunwei.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!