链载Ai

标题: 【干货】带你一步步安装与使用AnythingLLM [打印本页]

作者: 链载Ai 时间: 1 小时前
标题: 【干货】带你一步步安装与使用AnythingLLM

AnythingLLM 是一个开源项目，它提供一个高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型（LLM）在聊天中可以利用的相关上下文。从而显著提升大模型回答问题的精准度和适用性，运用本地的知识库文档，还可以增强数据安全性，降低知识库文档泄露的风险。

经过本宝宝的一番探索，终于在本地成功运行了AnythingLLM，现在分享给各位同学，一步步教你如何安装，如何使用。以下安装是基于Ubuntu24，用Docker部署AnythingLLM，其它Linux系统的操作基本相同。

Ollama 安装

Ollama安装是为了向AnythingLLM提供大模型的接口，通过Ollama，可以下载各种不同的大模型供AnythingLLM调用。

1. 安装Ollama

Ollama官网：https://ollama.com/

在Linux下，终端执行以下命令

curl-fsSLhttps://ollama.com/install.sh|sh

2. 运行大模型

本地运行 llama3.1：8b 模型，在终端中运行，首次运行会自动拉取模型文件，8b模型大概4G-5G，需要稍微等待一下。

ollamarunllama3.1：8b

安装AnythingLLM

安装过程可参考AnythingLLM 的官网文档：https://docs.anythingllm.com/ ，各位同学要注意的是要满足AnythingLLM的最小系统要求，内存 2G，双核CPU，5G存储空间。如果要在本地跑Ollama+大模型，我觉得一块带有10G显存的显卡能让各位同学减少很多烦恼，因为这个配置可以运行绝大部分8B的模型了，拓展了大模型的选择范围。

以下我介绍使用Docker方式的完整安装过程。

1. 首先安装Docker，此篇就不详细说明了，不懂的同学可以参考我过去的文章，里面有详细的安装方法。

2. Docker拉取AnythingLLM镜像，打开终端运行

dockerpullmintplexlabs/anythingllm

3. 下面的命令将在本地挂载存储并在 Docker 中运行 AnythingLLM，可以全部一次性复制到终端中运行。

exportSTORAGE_LOCATION=$HOME/anythingllm&&\mkdir-p$STORAGE_LOCATION&&\touch"$STORAGE_LOCATION/.env"&&\dockerrun-d-p3001:3001\--cap-addSYS_ADMIN\-v${STORAGE_LOCATION}:/app/server/storage\-v${STORAGE_LOCATION}/.env:/app/server/.env\-eSTORAGE_DIR="/app/server/storage"\mintplexlabs/anythingllm