本地大模型接入知识库RAG

主要是以下步骤：

• 如何使用Ollama一键部署本地大模型

• 通过搭建本地的聊天工具，了解ChatGPT的信息是如何流转的

• RAG的概念以及所用到的一些核心技术

• 如何通过AnythingLLM这款软件搭建完全本地化的数据库

上篇用ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: var(--articleFontsize);letter-spacing: 0.034em;">Ollama一键部署本地大模型，以及通过搭建本地的聊天工具。

这篇就聊下剩余的部分。

三、ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.034em;">安装Docker Desktop

1、点击/复制到浏览器去下载

https://docs.docker.com/desktop/install/windows-install/

2、下载后，双击下载项目，出现下图，点击ok，开始加载文件。

注意！！！！这里下载相对比较快，下载完成后，不要点击“close and restart”，因为这样会直接重启，导致llama3下载中断。

3、这里先不点击，等待终端的模型下载完成后，再点击重启。

4、重启后，点击：“Accept”

5、接着点击"Finish"

6、然后会提示你注册账号，如果打不开网页，就需要科学上网了，

7、按照正常的注册流程，注册账号，并登录Docker 即可。登录后会进入Docker Desktop。此处完成。

四、下载Open WebUI

1、回到桌面，再打开一个新的终端窗口（可以放心多个窗口，不会互相影响）

如果你是windows电脑，

• 点击win+R

• 输入cmd，点击回车

如果你是Mac电脑，

• 按下 Command（⌘）+ Space 键打开Spotlight搜索。

• 输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。

• 
  

2、将以下命令输入，等待下载：

dockerrun-d-p3000:8080--add-host=host.docker.internal:host-gateway-vopen-webui:/app/backend/data--nameopen-webui--restartalwaysghcr.io/open-webui/open-webui:main

3、出现下图，即是下载完成。

4、点击或复制下方地址进入浏览器进行注册

http://localhost:3000/auth/

5、点击进行注册即可，注册输入昵称、邮箱、密码。注册完即可登录进入。

6、登入后，看到如下页面，点击顶部的Model，选择自己在本地的模型就行，我是在本地部署了2个，所以可以看到2个。

7、完成。

你已经拥有了一个属于自己的本地大语言模型。已经可以开始与他对话啦

如果要求不高的话，这就算已经搭建了一个本地大模型了，并且通过Web UI实现了和大模型进行对话的功能。

五、本地知识库进阶

如果想要对知识库进行更加灵活的掌控，我们需要一个额外的软件：AnythingLLM。

这个软件包含了所有Open WebUI的能力，并且额外支持了以下能力

• 选择文本嵌入模型

• 选择向量数据库

AnythingLLM安装和配置

安装地址：https://useanything.com/download

当我们安装完成之后，会进入到其配置页面，这里面主要分为三步

1. 第一步：选择大模型

1. 第二步：选择文本嵌入模型

1. 第三步：选择向量数据库

构建本地知识库

AnythingLLM中有一个Workspace的概念，我们可以创建自己独有的Workspace跟其他的项目数据进行隔离。

1. 首先创建一个工作空间

1. 上传文档并且在工作空间中进行文本嵌入。在这里我上传的是一个“2023年最新450个搞钱玩法合集”。

1. 测试对话

当上述配置完成之后，我们就可以跟大模型进行对话了

整个过程就算结束了