Ubuntu24.04 RTX 3060 Ollama快速部署DeepSeek

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;margin-top: 26px;margin-bottom: 0px;font-weight: var(--base-text-weight-semibold,600);line-height: 24px;font-size: 16px;color: rgba(0, 0, 0, 0.88);font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;letter-spacing: normal;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(246, 246, 246);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif !important;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;font-weight: var(--base-text-weight-semibold,600);">一、环境准备：系统与硬件配置

1. ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif !important;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;vertical-align: top;word-break: break-word;line-height: 24px;">

   ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif !important;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;margin-top: 16px;margin-bottom: 0px;max-width: 100%;white-space: pre-wrap !important;word-break: break-word !important;">ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif !important;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;font-weight: var(--base-text-weight-semibold,600);">系统要求

• ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif !important;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;vertical-align: top;word-break: break-word;line-height: 24px;">
  Ubuntu 24.04 LTS（内核 ≥6.8.0）

  
  

• ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif !important;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;vertical-align: top;word-break: break-word;line-height: 24px;margin-top: 0.25em;">
  显卡驱动 ≥535（支持CUDA 12.3，默认安装是550版本）

  
  

• ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif !important;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;vertical-align: top;word-break: break-word;line-height: 24px;margin-top: 0.25em;">
  内存 ≥32GB（推荐64GB，保障多任务处理，我的是64G）

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;margin-top: 16px;margin-bottom: 0px;max-width: 100%;white-space-collapse: preserve !important;word-break: break-word !important;color: rgba(0, 0, 0, 0.88);font-size: 16px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: normal;orphans: 2;text-align: left;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;background-color: rgb(246, 246, 246);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif !important;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;font-weight: var(--base-text-weight-semibold,600);">硬件适配

• RTX 3060（12GB显存，支持7B/14B蒸馏模型，最终我3060拉取的是14b，显卡使用是10G）

  
  

• SSD ≥100GB（建议PCIe 4.0 NVMe，加速模型加载，我安装的是500G的m2）

二、显卡驱动安装

Ubuntu24.04安装显卡驱动参考：https://cn.linux-console.net/?p=31028root@bkb-MS-7D95:~#ubuntu-driversdevices#####查看支持的驱动版本root@bkb-MS-7D95:~#ubuntu-driversautoinstall###默认自动安装驱动

如下图，自动安装驱动成功。可以看到安装的是550版本，相较于自己去官网下载驱动安装，这个auto安装省不少事，效率也快很多。

执行下述命令返回代表安装完成。可以显示显卡信息。

root@bkb-MS-7D95:~#nvidia-smi

三、Ollama 部署

1. Ollama 安装

Ubuntu24.04安装ollama参考链接：https://zhuanlan.zhihu.com/p/20514173947如果执行一键安装命令curl-fsSLhttps://ollama.com/install.sh|sh国内直接安装ollama网速过慢退出，如下图

这时候就需要加速器来加速安装ollama了，下载脚本下来替换镜像地址

参考换源：https://blog.tianhao.tech/default/ollama-installation-guide-china.html#cl-5

root@bkb-MS-7D95:/bkb#sed-i's|https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64|g'install.shroot@bkb-MS-7D95:/bkb#sed-i's|https://ollama.com/download/ollama-linux-amd64-rocm.tgz${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64-rocm.tgz|g'install.sh

换加速源后下载速度提升很多，下图是对比，原本官网安装好久才1.2%，换了后半个小时左右安装完成ollama。

四、DeepSeek 蒸馏模型部署

1. 模型选择与下载

• 推荐版本：deepseek-r1:8b（4.9GB，性能保留65%）
• 加速下载：使用镜像源ollama pull deepseek-r1:7b --registry-mirror （这里我执行拉取很快。并没有限速。到了90%后稍微慢一些）

启动模型服务

• 基础命令：ollama run deepseek-r1:8b (实测这个显卡12G使用是6G多)

• ollama run deepseek-r:14b (实测这个显卡12G使用是10G多)
• GPU 加速模式：OLLAMA_GPU_LAYER=metal ollama run deepseek-r1:7b

• ollama run deepseek-r1:8b (实测这个显卡12G使用是6G多)

• ollama run deepseek-r:14b (实测这个显卡12G使用是10G多)

至此模型后端完成部署。

上面通过命令行交互不是很人性化，这时候就需要安装一个ui浏览器窗口来进行交互。

五、验证与调试

1. 基础功能测试

• 命令行问答验证：ollama run deepseek-r1:8b "对比3.06和3.2大小"

  
  

• WebUI 访问：http://localhost:8080（需部署 Open WebUI）

上面我拉取了两个模型，测试了一下问答大小对比，好歹没出现3.06大哈。

安装openui

这里使用docker安装，docker安装步骤跳过，自行安装哈。

dockerrun-d-p8080:8080-eOLLAMA_BASE_URL=http://192.168.10.110:11434-vopen-webui:/app/backend/data--nameopen-webui--restartalwaysghcr.io/open-webui/open-webui:main

网址打开如下：

交互式使用

六、常见问题与解决方案

1. 模型下载失败

• 使用迅雷替代 curl 下载安装包

• 手动导入模型文件：ollama create deepseek-r1 -f Modelfile

  
  

• GPU 未被调用

• 检查 Docker 配置：nvidia-container-toolkit安装状态
• 显存分配策略：限制单任务显存--num-gpu 50%