最近在研究大模型的落地应用,在本地使用2张GPU显卡部署了一套DeepSeek-r1模型,并搭配了Page Assist作为web ui。由于deepseek模型信息最新更新时间是到2023年12月,所有这个日期之后发生的事情,它是不知道的,而Page Assist有个联网搜索功能,可以很好的弥补这一点,之前一直不清楚他们是怎么配合的,今天重点研究了一下,也算是搞清楚了怎么回事。附上本地使用Ollama部署deepseek的步骤和设置。
ollama基础命令:
1)模型管理
ollama pull
我这里使用的是32b的模型,大约20个G,进行本地研究应该是足够了,同时保证内存和磁盘空间足够。
提个问题试试。
一开始直接启动,默认访问地址是127.0.0.1:11434,只允许本地访问。如果要放开外部访问,需要进行Ollama设置。
sudo vim /etc/systemd/system/ollama.service
在[Service]下面加上:
Environment="OLLAMA_HOST=0.0.0.0:11434" #运行所有地址访问
Environment="OLLAMA_ORIGINS=*"#运行跨域访问
sudo systemctl daemon-reload
sudo systemctl restart ollama在本地浏览器上安装Page Assist作为web ui,访问插件地址https://chromewebstore.google.com/search/Page%20Assist?hl=zh-CN&utm_source=ext_sidebar
安装完成后打开
当在没开启联网搜索时,询问当前日期是多少,它是无法回答的,只有开启才可以。
我本地deepseek模型是运行在服务器上的,且切断了互联网,它不可能直接联网查询。
Page Assist作为浏览器扩展,它的联网功能是独立于DeepSeek模型运行的,当用户开启联网搜索时,Page Assist会通过预设置的浏览器直接访问互联网,用搜索引擎先进行实时查询,把获取的网络信息作为上下文,然后将这些信息与用户问题一起发送给本地的DeepSeek模型进行问题回答生成,最后再反馈给用户。大体流程如下图。
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |