链载Ai

标题: Ollama部署大模型以及配置外部访问 [打印本页]

作者: 链载Ai 时间: 昨天 17:56
标题: Ollama部署大模型以及配置外部访问

最近在做向量化模型的技术选型，没有GPU所以打算装个ollama先试一下（vLLM要求必须是GPU才行）。

ollama安装比较简单，基本属于傻瓜式安装

但是我这台机器下载速度贼慢，所以考虑借助魔塔社区安装了（https://modelscope.cn/models/modelscope/ollama-linux/summary）但是这种方式对python版本有要求，起码要在Python 3.8以上。

安装成功！

ollama可以在纯CPU的机器上部署运行

#模型拉取ollamapullscratchfens/QwQ-32B-CoD

#启动模型服务并进入交互页面ollamarunscratchfens/QwQ-32B-CoD

默认的ollama安装完成后只能在本地访问，外部机器是不能访问到这个服务的，这个时候就需要修改ollama的配置文件，配置文件的目录

/etc/systemd/system/ollama.service

修改配置文件，在service上增加一项，指定对外的端口和地址

Environment="OLLAMA_HOST=10.128.5.150:8090"

修改完配置文件后，需要重新加载并重启服务。

#重新加载配置文件sudosystemctldaemon-reloadsudosystemctlrestartollama

修改完成后查看端口监控情况：

netstat-aptn

ollama的端口已成功被修改！！！

按理说现在已经没问题了，但是~~~

它！居然！连不上！！！

真服了！！！

exportOLLAMA_HOST="10.128.5.150:8090"ollama--version

成功！

欢迎光临链载Ai (https://www.lianzai.com/)