写在前面
前几篇，分享的都是如何白嫖国内外各大厂商的免费大模型服务~
有小伙伴问，如果我想在本地搞个大模型玩玩，有什么解决方案？
Ollama，它来了，专为在本地机器便捷部署和运行大模型而设计。
也许是目前最便捷的大模型部署和运行工具，配合Open WebUI，人人都可以拥有大模型自由。
今天，就带着大家实操一番，从 0 到 1 玩转 Ollama。
1. 部署
1.1 Mac & Windows
相对简单，根据你电脑的不同操作系统，下载对应的客户端软件，并安装：
macOS：https://ollama.com/download/Ollama-darwin.zip
Windows：https://ollama.com/download/OllamaSetup.exe
1.2 Linux
推荐大家使用 Linux 服务器进行部署，毕竟大模型的对机器配置还是有一定要求。
裸机部署
step 1: 下载 & 安装
命令行一键下载和安装：
curl-fsSLhttps://ollama.com/install.sh|sh
如果没有报错，它会提示你 ollama 的默认配置文件地址：
Createdsymlink/etc/systemd/system/default.target.wants/ollama.service→/etc/systemd/system/ollama.service.
接下来，我们采用如下命令查看下服务状态， running 就没问题了：
systemctlstatusollama
查看是否安装成功，出现版本号说明安装成功：
ollama-v
step 2: 服务启动
浏览器中打开：http://your_ip:11434/，如果出现 Ollama is running，说明服务已经成功运行。
step 3: 修改配置（可选）如果有个性化需求，需要修改默认配置：
配置文件在：/etc/systemd/system/ollama.service，采用任意编辑器打开，推荐 vim
- 默认只能本地访问，如果需要局域网内其他机器也能访问（比如嵌入式设别要访问本地电脑），需要对 HOST 进行配置，开启监听任何来源IP
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
- 如果需要更改模型存放位置，方便管理，需要对 OLLAMA_MODELS 进行配置：
[Service]
Environment="OLLAMA_MODELS=/data/ollama/models"
不同操作系统，模型默认存放在：
macOS:~/.ollama/models
Linux:/usr/share/ollama/.ollama/models
Windows:C:\Users\xxx\.ollama\models
- 如果有多张 GPU，可以对 CUDA_VISIBLE_DEVICES 配置，指定运行的 GPU，默认使用多卡。
Environment="CUDA_VISIBLE_DEVICES=0,1"
4.配置修改后，需要重启 ollama
systemctldaemon-reload
systemctlrestartollama
注意：上面两条指令通常需要同时使用：只要你修改了任意服务的配置文件（如 .service 文件），都需要运行systemctl daemon-reload使更改生效。
Docker 部署
我们也介绍下 Docker 部署，无需配置各种环境，相对小白来说，更加友好。
step 1: 一键安装
如果是一台没有 GPU 的轻量级服务器：
dockerrun-d-vollama:/root/.ollama-p11434:11434--nameollama--restartalwaysollama/ollama
简单介绍下这个命令的参数：
- docker run：用于创建并启动一个新的 Docker 容器。
- -v ollama:/root/.ollama：将宿主机上的 ollama 目录挂载到容器内的 /root/.ollama 目录，便于数据持久化。
- -p 11434:11434：将宿主机的 11434 端口映射到容器的 11434 端口，使外部可以访问容器服务。
- --name ollama：为新创建的容器指定一个名称为 ollama，便于后续管理。
- --restart always：容器在退出时自动重启，无论是因为错误还是手动停止。
- ollama/ollama：指定要使用的 Docker 镜像，这里是 ollama 镜像。
宿主机上的数据卷 volume 通常在 /var/lib/docker/volumes/，可以采用如下命令进行查看：
[root@instance-20240702-1632~]#dockervolumels
DRIVERVOLUMENAME
localdockers_postgres-data
localollama
localopen-webui
[root@instance-20240702-1632~]#ls/var/lib/docker/volumes/
backingFsBlockDevdockers_postgres-datametadata.dbollamaopen-webui
如果拥有 Nvidia-GPU：
dockerrun-d--gpus=all-vollama:/root/.ollama-p11434:11434--nameollamaollama/ollama
安装成功后，注意要给服务器打开 11434 端口的防火墙，然后浏览器打开 http://your_ip:11434/，如果出现 Ollama is running，说明服务已经成功运行。
step 2: 进入容器
如何进入容器中执行指令呢？
dockerexec-itollama/bin/bash
参数说明：
- /bin/bash：要执行的命令，这里是打开一个 Bash shell。
执行后，你将进入容器的命令行，和你本地机器上使用没有任何区别。
如果不想进入容器，当然也可以参考如下指令，一键运行容器中的模型：
dockerexec-itollamaollamarunqwen2:0.5b
如果一段时间内没有请求，模型会自动下线。
2. 使用
2.1 Ollama 常用命令
Ollama 都有哪些指令？
终端输入 ollama：
Usage:
ollama[flags]
ollama[command]
AvailableCommands:
serveStartollama
createCreateamodelfromaModelfile
showShowinformationforamodel
runRunamodel
pullPullamodelfromaregistry
pushPushamodeltoaregistry
listListmodels
psListrunningmodels
cpCopyamodel
rmRemoveamodel
helpHelpaboutanycommand
Flags:
-h,--helphelpforollama
-v,--versionShowversioninformation
Use"ollama[command]--help"formoreinformationaboutacommand.
我们翻译过来，和 docker 命令非常类似：
ollamaserve#启动ollama
ollamacreate#从模型文件创建模型
ollamashow#显示模型信息
ollamarun#运行模型，会先自动下载模型
ollamapull#从注册仓库中拉取模型
ollamapush#将模型推送到注册仓库
ollamalist#列出已下载模型
ollamaps#列出正在运行的模型
ollamacp#复制模型
ollamarm#删除模型
2.2 Ollama 模型库
类似 Docker 托管镜像的 Docker Hub，Ollama 也有个 Library 托管支持的大模型。
传送门：https://ollama.com/library
从0.5B 到 236B，各种模型应有尽有，大家可以根据自己的机器配置，选用合适的模型。
同时，官方也贴心地给出了不同 RAM 推荐的模型大小，以及命令：
注：至少确保，8GB的 RAM 用于运行 7B 模型，16GB 用于运行 13B 模型，32GB 用于运行 33B 模型。这些模型需经过量化。
因为我的是一台没有 GPU 的轻量级服务器，所以跑一个 0.5B 的 qwen 模型，给大家做下演示：
root@535ec4243693:/#ollamarunqwen2:0.5b
pullingmanifest
pulling8de95da68dc4...100%▕████████████████████████████████████▏352MB
pulling62fbfd9ed093...100%▕████████████████████████████████████▏182B
pullingc156170b718e...100%▕████████████████████████████████████▏11KB
pullingf02dd72bb242...100%▕████████████████████████████████████▏59B
pulling2184ab82477b...100%▕████████████████████████████████████▏488B
verifyingsha256digest
writingmanifest
removinganyunusedlayers
success
>>>你是谁
我是来自阿里云的超大规模语言模型——通义千问。我能够理解、生产、传播各种语言和文字，可以回答您在任
何语言或任何问题的问题。
>>>Sendamessage(/?forhelp)
2.3 自定义模型
如果要使用的模型不在 Ollama 模型库怎么办？
GGUF (GPT-Generated Unified Format)模型
GGUF 是由 llama.cpp 定义的一种高效存储和交换大模型预训练结果的二进制格式。
Ollama 支持采用 Modelfile 文件中导入 GGUF 模型。
下面我们以本地的 llama3 举例，详细介绍下实操流程：
step 1: 新建一个文件名为 Modelfile 的文件，然后在其中指定 llama3 模型路径：
FROM/root/models/xxx/Llama3-FP16.gguf
step 2: 创建模型
ollamacreatellama3-fModelfile
step 3: 运行模型
ollamarunllama3
终端出现 >>，开启和 Ollama 的对话旅程吧~
下面是几个常用案例：
>>>"""Hello,
...world!
..."""
I'mabasicprogramthatprintsthefamous"Hello,world!"messagetotheconsole.
>>>What'sinthisimage?/Users/jmorgan/Desktop/smile.png
Theimagefeaturesayellowsmileyface,whichislikelythecentralfocusofthepicture.
$ollamarunllama3"Summarizethisfile
(catREADME.md)"
Ollamaisalightweight,extensibleframeworkforbuildingandrunninglanguagemodelsonthelocalmachine.
PyTorch or Safetensors 模型
Ollama 本身不支持 PyTorch or Safetensors 类型，不过可以通过 llama.cpp 进行转换、量化处理成 GGUF 格式，然后再给 Ollama 使用。
关于 llama.cpp 的使用，小伙伴可以前往官方仓库：https://github.com/ggerganov/llama.cpp。下载后需要编译使用，成功后会在目录下生成三个可执行文件：
main：模型推理
quantize：模型量化，包括1.5位、2位、3位、4位、5位、6位和8位整数量化
server：提供模型API服务
不过我们只能需要用到它的模型转换功能，还是以 llama3 举例：首先安装项目依赖，然后调用 convert.py 实现模型转换：
pipinstall-rrequirements.txt
pythonconvert.py/root/xxx/Llama3-Chinese-8B-Instruct/--outtypef16--vocab-typebpe--outfile./models/Llama3-FP16.gguf
提示词实现模型定制
刚才我们介绍了 Modelfile，其中我们还可以自定义提示词，实现更个性化的智能体。
假设现在你从模型库下载了一个 llama3:
ollamapullllama3
然后我们新建一个 Modelfile，其中输入：
FROMllama3
#设置温度参数
PARAMETERtemperature0.7
#设置SYSTEM消息
SYSTEM"""
你是猴哥的 AI 智能助手，将基于猴哥发表的所有文章内容回答问题，拒绝回答任何无关内容。
"""
Ollama 实现模型量化
Ollama 原生支持 FP16 or FP32 模型的进一步量化，支持的量化方法包括：
Q4_0Q4_1Q5_0Q5_1Q8_0
K-means Quantizations：
Q3_K_SQ3_K_MQ3_K_LQ4_K_SQ4_K_MQ5_K_SQ5_K_MQ6_K
在编写好 Modelfile 文件后，创建模型时加入 -q 标志：
FROM/path/to/my/gemma/f16/model
ollamacreate-qQ4_K_Mmymodel-fModelfile
2.3 API 服务
除了本地运行模型以外，还可以把模型部署成 API 服务。
执行下述指令，可以一键启动 REST API 服务：
ollamaserve
下面介绍两个常用示例：
1、生成回复
curlhttp://129.150.63.xxx:11434/api/generate-d'{
"model":"qwen2:0.5b",
"prompt":"Whyistheskyblue?",
"stream":false
}'
2、模型对话
curlhttp://localhost:11434/api/chat-d'{
"model":"qwen2:0.5b",
"messages":[
{"role":"user","content":"whyistheskyblue?"}
],
"stream":false
}'
更多参数和使用，可参考 API 文档：https://github.com/ollama/ollama/blob/main/docs/api.md
2.4 OneAPI 集成
前段时间，我们已经完成了 OneAPI 的部署，见：OneAPI-接口管理和分发神器，将所有大模型一键封装成OpenAI协议
OneAPI 也支持 Ollama 模型，我们只需在 OneAPI 中为 Ollama 添加一个渠道。
创建好之后，点击 测试 一下，右上角出现提示，说明已经配置成功，接下来就可以采用 OpenAI 的方式调用了。
2.5 Open WebUI 界面搭建
Open WebUI 是一个可扩展的自托管 WebUI，前身就是 Ollama WebUI，为 Ollama 提供一个可视化界面，可以完全离线运行，支持 Ollama 和兼容 OpenAI 的 API。
? 一键直达：https://github.com/open-webui/open-webui
Open WebUI 部署
我们直接采用 docker 部署 Open WebUI：
因为我们已经部署了 Ollama，故采用如下命令：
dockerrun-d-p3000:8080--add-host=host.docker.internal:host-gateway-vopen-webui:/app/backend/data--nameopen-webui--restartalwaysghcr.io/open-webui/open-webui:main
其中：--add-host=host.docker.internal:host-gateway 是为了添加一个主机名映射，将 host.docker.internal 指向宿主机的网关，方便容器访问宿主机服务
假设你之前没有安装过 Ollama，也可以采用如下镜像（打包安装Ollama + Open WebUI）：
dockerrun-d-p3000:8080-vollama:/root/.ollama-vopen-webui:/app/backend/data--nameopen-webui--restartalwaysghcr.io/open-webui/open-webui
llama
Open WebUI 使用
在打开主机 3000 端口的防火墙之后，浏览器中输入：http://your_ip:3000/，注册一个账号：
可以发现界面和 ChatGPT 一样简洁美观，首先需要选择一个模型，由于我们只部署了 qwen2:0.5b，于是先用它试试：
右上角这里可以设置系统提示词，以及模型参数等等：
在个人设置这里，可以看到内置的 TTS 服务：
管理员面板这里，有更多探索性功能，比如图像生成，如果你部署了 StableDiffusion，这里同样支持调用：
不得不说，Open WebUI 的功能真的非常强大，更多功能可参考官方文档：https://docs.openwebui.com/
感兴趣的小伙伴赶紧去试试吧~
3. 文末福利
相信看到这里的你，已经基本可以玩转 Ollama 了。
只不过觉得上述流程略显麻烦？
没问题，你的困惑早有人帮你搞定了，GitHub 上有开发者做了 docker-compose 一键整合安装包：
传送门：https://github.com/valiantlynx/ollama-docker
你只需要一行命令：
docker-composeup-d
就能一键启动 Ollama + Open WebUI~
启动成功后，注意看一下不同容器的端口号：
dockerps
接下来的操作，和前两部分一致，快去愉快玩耍吧~
写在最后
至此，我们一起走完了 Ollama 的部署和实战流程。
在我看来，Ollama 也许是目前最便捷的大模型部署和使用工具，对小白非常友好。
简单的命令行操作，用户即可快速启动和管理模型，极大降低了技术门槛，用户可以专注于模型的应用，而无需关注底层技术细节。此外，Ollama 的离线运行也为数据安全提供了保障。
期待大家在使用 Ollama 的过程中，发现更多有趣的 AI 应用场景。让我们一起推动大模型技术的应用落地，探索更广阔的可能性！
