返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

实践用Ollama本地部署DeepSeek-R1模型,总算搞清楚了联网搜索RAG是怎么回事

[复制链接]
链载Ai 显示全部楼层 发表于 昨天 22:37 |阅读模式 打印 上一主题 下一主题

最近在研究大模型的落地应用,在本地使用2张GPU显卡部署了一套DeepSeek-r1模型,并搭配了Page Assist作为web ui。由于deepseek模型信息最新更新时间是到2023年12月,所有这个日期之后发生的事情,它是不知道的,而Page Assist有个联网搜索功能,可以很好的弥补这一点,之前一直不清楚他们是怎么配合的,今天重点研究了一下,也算是搞清楚了怎么回事。附上本地使用Ollama部署deepseek的步骤和设置。

1、本地安装Ollama

ollama基础命令:
1)模型管理
ollama pull

2、下载运行deepseek-r1:32b

我这里使用的是32b的模型,大约20个G,进行本地研究应该是足够了,同时保证内存和磁盘空间足够。


ollama默认模型放置路径为/usr/share/ollama/.ollama/models


安装完成开始运行,使用命令ollama ps可以看到deepseek-r1:32b完全运行在GPU上。GPU使用的是2张A10 NVIDIA卡。

提个问题试试。


回复测试没问题。回复/bye或者按Ctrl+D退出。


3、外部网络访问

一开始直接启动,默认访问地址是127.0.0.1:11434,只允许本地访问。如果要放开外部访问,需要进行Ollama设置。

sudo vim /etc/systemd/system/ollama.service
在[Service]下面加上:
Environment="OLLAMA_HOST=0.0.0.0:11434" #运行所有地址访问
Environment="OLLAMA_ORIGINS=*"#运行跨域访问
sudo systemctl daemon-reload
sudo systemctl restart ollama

4、使用Chrome浏览器插件访问

在本地浏览器上安装Page Assist作为web ui,访问插件地址https://chromewebstore.google.com/search/Page%20Assist?hl=zh-CN&utm_source=ext_sidebar

安装完成后打开

5、使用DeepSeek联网搜索

当在没开启联网搜索时,询问当前日期是多少,它是无法回答的,只有开启才可以。

我本地deepseek模型是运行在服务器上的,且切断了互联网,它不可能直接联网查询。
Page Assist作为浏览器扩展,它的联网功能是独立于DeepSeek模型运行的,当用户开启联网搜索时,Page Assist会通过预设置的浏览器直接访问互联网,用搜索引擎先进行实时查询,把获取的网络信息作为上下文,然后将这些信息与用户问题一起发送给本地的DeepSeek模型进行问题回答生成,最后再反馈给用户。大体流程如下图。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ