Ollama Open WebUI 部署自己的本地大语言模型知识库, 创建自定义 Ollama 模型.

安装, 设置 Ollama

https://ollama.com/

下载安装完后, 默认跟随系统自启动, 模型默认系统盘, 所以设置无需自启动, 想什么时候启动什么时候启动; 再设置模型默认安装路径.

C:\Users\xxx\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Startup 目录下删除 Ollama 快捷方式, 就不会自启动了.

打开系统环境变量, 新建变量OLLAMA_MODELS变量值: 自定义的模型安装路径.

然后重启Ollama.

安装 Open WebUI

• 安装 miniconda:

https://docs.anaconda.com/miniconda/install/

• 安装 Open WebUI:

https://github.com/open-webui/open-webui

在你要放Open WebUI的文件夹下创建一个环境openwebui:

python -m venv openwebui

激活环境:

openwebui\Scripts\activate

使用清华源安装:

pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui

启动Open WebUI:

open-webui serve

启动完成后浏览器打开:http://localhost:8080

创建管理员账号 (也是本地的, 不会联网上传):

不用 openai 的 API 就关掉, 不然启动时会报一个错(但也不影响):

到此可以https://ollama.com/search下载各种开源大模型本地玩起来了. 上传自己的私人文件, 构建自己的知识库吧.

想玩 Ollama 模型库里没有的模型(无审查, NSFW)怎么办?

创建自己的 Ollama 模型

官方教程:

https://github.com/ollama/ollama/blob/main/docs/import.md

这里以 gguf 模型为例:

• https://hf-mirror.com/models下载自己喜欢的模型, 放到 Ollama 模型安装目录下

• 相同目录下, 新建Modelfile.txt文件, 输入FROM ./模型名.gguf

• 相同目录下, 打开 cmd, 执行ollama create my_model -f Modelfile.txt

• 新建的my_model模型就可以在Open WebUI里使用了:

快捷启动

新建一个 run.bat 文件, 输入以下内容, 放到前面新建的环境openwebui目录下, 双击它启动Open WebUI:

chcp 65001

@echooff
echo"   ___      ___      ___        ";
echo"   /\ \     /\ \     /\__\    ___  ";
echo"  |::\ \    _\:\ \    /:/ _/_   /\__\  ";
echo"  |:|:\ \   /\ \:\ \   /:/ /\ \  /:/__/  ";
echo" __|:|\:\ \  _\:\ \:\ \  /:/ /::\ \ /::\ \  ";
echo" /::::|_\:\__\ /\ \:\ \:\__\ /:/_/:/\:\__\ \/\:\ \ ";
echo" \:\~~\ \/__/ \:\ \:\/:/ / \:\/:/ /:/ / ~~\:\ \ ";
echo" \:\ \    \:\ \::/ /  \::/ /:/ /   \:\__\";
echo " \:\ \    \:\/:/ /   \/_/:/ /    /:/ /";
echo "  \:\__\    \::/ /    /:/ /    /:/ /";
echo "  \/__/     \/__/     \/__/    \/__/ ";

REM 1. 激活环境
call "%~dp0Scripts\activate"

REM 2. 启动
open-webui serve

REM 3. 可选：保持窗口
pause

end