链载Ai

标题: Ubuntu24.04 RTX 3060 Ollama快速部署DeepSeek [打印本页]
作者: 链载Ai    时间: 4 小时前
标题: Ubuntu24.04 RTX 3060 Ollama快速部署DeepSeek

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;margin-top: 26px;margin-bottom: 0px;font-weight: var(--base-text-weight-semibold,600);line-height: 24px;font-size: 16px;color: rgba(0, 0, 0, 0.88);font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;letter-spacing: normal;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(246, 246, 246);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif !important;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;font-weight: var(--base-text-weight-semibold,600);">一、环境准备：系统与硬件配置

  1. ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif !important;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;vertical-align: top;word-break: break-word;line-height: 24px;">

    ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif !important;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;margin-top: 16px;margin-bottom: 0px;max-width: 100%;white-space: pre-wrap !important;word-break: break-word !important;">ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif !important;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;font-weight: var(--base-text-weight-semibold,600);">系统要求

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;margin-top: 16px;margin-bottom: 0px;max-width: 100%;white-space-collapse: preserve !important;word-break: break-word !important;color: rgba(0, 0, 0, 0.88);font-size: 16px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: normal;orphans: 2;text-align: left;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;background-color: rgb(246, 246, 246);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">ingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif !important;-webkit-font-smoothing: antialiased;scrollbar-color: var(--common-scroll-color) var(--common-scroll-bg);scrollbar-width: thin;font-weight: var(--base-text-weight-semibold,600);">硬件适配

二、显卡驱动安装

Ubuntu24.04安装显卡驱动参考：https://cn.linux-console.net/?p=31028root@bkb-MS-7D95:~#ubuntu-driversdevices#####查看支持的驱动版本root@bkb-MS-7D95:~#ubuntu-driversautoinstall###默认自动安装驱动

如下图，自动安装驱动成功。可以看到安装的是550版本，相较于自己去官网下载驱动安装，这个auto安装省不少事，效率也快很多。

执行下述命令返回代表安装完成。可以显示显卡信息。 

root@bkb-MS-7D95:~#nvidia-smi

三、Ollama 部署

  1. Ollama 安装

Ubuntu24.04安装ollama参考链接：https://zhuanlan.zhihu.com/p/20514173947如果执行一键安装命令curl-fsSLhttps://ollama.com/install.sh|sh国内直接安装ollama网速过慢退出，如下图

这时候就需要加速器来加速安装ollama了，下载脚本下来替换镜像地址

参考换源：https://blog.tianhao.tech/default/ollama-installation-guide-china.html#cl-5

root@bkb-MS-7D95:/bkb#sed-i's|https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64|g'install.shroot@bkb-MS-7D95:/bkb#sed-i's|https://ollama.com/download/ollama-linux-amd64-rocm.tgz${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64-rocm.tgz|g'install.sh

换加速源后下载速度提升很多，下图是对比，原本官网安装好久才1.2%，换了后半个小时左右安装完成ollama。

四、DeepSeek 蒸馏模型部署

  1. 模型选择与下载

启动模型服务



至此模型后端完成部署。

上面通过命令行交互不是很人性化，这时候就需要安装一个ui浏览器窗口来进行交互。

五、验证与调试

  1. 基础功能测试

上面我拉取了两个模型，测试了一下问答大小对比，好歹没出现3.06大哈。

安装openui

这里使用docker安装，docker安装步骤跳过，自行安装哈。

dockerrun-d-p8080:8080-eOLLAMA_BASE_URL=http://192.168.10.110:11434-vopen-webui:/app/backend/data--nameopen-webui--restartalwaysghcr.io/open-webui/open-webui:main


网址打开如下：


交互式使用

六、常见问题与解决方案

  1. 模型下载失败





欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5