链载Ai

标题: 基于AnythingLLM 与本地DeepSeek大模型，零门槛构建企业级本地 AI 知识库 [打印本页]

作者: 链载Ai 时间: 10 小时前
标题: 基于AnythingLLM 与本地DeepSeek大模型，零门槛构建企业级本地 AI 知识库

ingFang SC", "Helvetica Neue", Helvetica, Arial, sans-serif;letter-spacing: 0.578px;margin-top: 0px;margin-bottom: 8px;font-size: 26px;padding-bottom: 12px;text-align: center;">AI 私有化部署的时代已来

ingFang SC", "Helvetica Neue", Helvetica, Arial, sans-serif;color: rgb(31, 35, 41);margin: 0px 0px 4px;word-break: break-all;min-height: 20px;">在数据隐私日益重要的今天，企业及开发者对本地化AI解决方案的需求激增。本文将手把手教你如何通过开源工具AnythingLLM与Ollama，无需云端依赖、完全免费地搭建基于DeepSeek大模型的本地知识库系统，实现数据100%自主掌控的智能化升级。　

ingFang SC", "Helvetica Neue", Helvetica, Arial, sans-serif;letter-spacing: 0.578px;margin-top: 0px;margin-bottom: 8px;font-size: 26px;padding-bottom: 12px;text-align: center;">一、为什么选择本地化AI知识库？

数据零泄漏风险：敏感信息完全离线处理
响应速度提升：本地计算无需网络延迟
定制化自由：支持任意垂直领域知识训练
长期成本优化：避免云服务持续付费

ingFang SC", "Helvetica Neue", Helvetica, Arial, sans-serif;letter-spacing: 0.578px;margin-top: 0px;margin-bottom: 8px;font-size: 26px;padding-bottom: 12px;text-align: center;">二、工具准备清单

AnythingLLM：开源企业级LLM应用框架（https://anythingllm.com/）

支持多模态文档处理（PDF/Word/网页等）
可视化知识库管理界面
本地向量数据库集成
Ollama：本地大模型运行神器（https://ollama.com/）

一键部署各类开源大模型
支持 CPU/GPU 混合计算
模型版本管理功能

DeepSeek模型：

推荐下载 8B/14B参数的量化版本，工作环境使用建议 14B 以上
可通过 HuggingFace 或官方渠道获取

硬件：推荐英伟达3060 12G显卡和16G内存以上，可部署 14B 以上模型

ingFang SC", "Helvetica Neue", Helvetica, Arial, sans-serif;color: rgb(31, 35, 41);margin: 0px 0px 4px;word-break: break-all;min-height: 20px;">　

三、两步搭建实战指南

1.Ollama 本地化部署 DeepSeek R1

下载并安装Ollama应用到本地电脑

下载 Deepseek 模型，推荐 8B/14B 以上量化模型

安装：windows环境下，win + R 输入 cmd 打开命令行对话框，输入 ollama run deepseek-r1:14b，即可下载模型到本地电脑，下载完成后，运行 Ollama即可（Ollama没有前端，可以在电脑的右下角看到Ollama图标）　

其他命令参考：　

介绍几个Ollama常用的命令：　

1) 列出本地可用的模型列表：ollama list　

2) 启动模型：ollama runmodel_name　

3) 查看模型信息：ollama showmodel_name　

4) 删除指定模型：ollama rmmodel_name　

由于Ollama默认安装在C盘，可以参考以下方式，迁移到其他盘

1）打开环境变量：“我的电脑”（邮件）- “属性” – “高级系统设置” –“环境变量”　

2）修改 Ollama 路径，打开 Path，添加新路径，例如：F:\anythingllm\ollama，保存，然后将 C盘 Ollama 整个文件夹下的所有文件剪切到这里　

3）修改 Ollama 模型环境变量　

将刚安装并且剪切到其他盘的模型文件夹设置为新的环境　

2.部署 AnythingLLM

打开官网地址：https://anythingllm.com/desktop，根据自己的系统选择下载的版本。　

默认路径安装，或者修改默认安装路径都可以。　

安装完成后，运行客户端　

设置模型

选择Ollama，并选择模型，下图示为1.5b模型，可在此选择上面下载的 14b 模型　

要使用本地知识库，还需要设置 Embedding 模型和向量数据库

正常路径是，点击左下角的设置icon，打开下图所示界面，还可以在下方的 Customization 中将语言更改为中文。　

创建工作区，填写工作区名称，就可以对话了。

添加知识库文件。　

3.DeepSeek R1 API 接入LLM

如果本地硬件条件有限，想使用DeepSeek官网服务怎么办？　

AnythingLLM 也支持直接调用DeepSeek官方提供的API接口。　

点击“工作区设置”，选择聊天设置，可以更改LLM模型。　

选择DeepSeek，输入API Key，选择DeepSeek R1模型，输入DeepSeek API Key，选择DeepSeek R1模型就可以了。　

四、Anythingllm 联网搜索

AnythingLLM 本地模型，默认是不联网的，如需将本地模型联网，可以进行以下操作。

1、启用 Web Search

1)打开设置：在 AnythingLLM 的设置界面中，找到“代理技能”选项。　

2)启用 Web Search：在代理技能列表中找到Web Search，点击开启。　

3)选择搜索引擎：选择一个搜索引擎。如果你只是想尝试一下，建议选择DuckDuckGo，因为它无需任何配置即可直接使用。如果选择 Goolge search engine，则需要在google search 控制台申请 API Key。（注意: 无论是 DuckDuckGo 还是 Google Search Engine，都需要科上网才能正常使用。）　