从零开始，用开源技术搭建一个能"读懂"文档的智能问答系统
大家好,我是铭毅天下。今天给大家分享一个非常实用的项目——Everything plus RAG 智能文档问答系统。
相信大家的电脑上都安装了 Everything，一个磁盘文件快速查找桌面级应用软件。
一直以来，我都有个想法，能否做一个 plus 版本，支持文档的全文检索和智能问答？！这个想法萌芽已久，且和同事、朋友做过多次讨论。
近期，终于腾出空来，把它实现了。
直接上效果视频。
这个系统解决了我们工作中一个常见的痛点——如何从海量文档中快速找到最准确答案?
unsetunset一、为什么需要这样一个系统?unsetunset
先说说我遇到的问题。作为技术人,手头总有大量的文档:
传统的解决方案有两种:
方案一:全文搜索(如 Elasticsearch、国产化Easysearch 等)
缺点:不理解语义,搜"如何启动"找不到"怎么运行"
方案二:直接问 ChatGPT、Claude、DeepSeek、豆包等 AI 工具
缺点:容易"胡说八道",给出的答案可能根本不在你的文档里
那么,能不能结合两者的优点,既快速检索又智能理解,还能保证答案可靠呢?
答案是:
可以!
这就是我今天要分享的 RAG(检索增强生成) 技术。
RAG 不是新技术，咱们之前的文章有过多次分享，详见如下：
基于 Qwen2.5-14B + Elasticsearch RAG 的大数据知识库智能问答系统
【视频】基于大模型 与 Elasticsearch 的知识库智能问答 RAG 系统
漫画 Elasticsearch RAG
大白话解读什么是 RAG（检索增强生成）技术？
【视频】有道云笔记增强 RAG 检索 + 智能 AI 助手实战
建议先看完再看后续的内容会更好理解。
unsetunset二、什么是 RAG?一个形象的比喻unsetunset
把 RAG 想象成一场"开卷考试":
传统 AI(闭卷考试)
学生(AI): 凭记忆答题
问题: 可能记错、编造答案
RAG(开卷考试)
学生(AI): 先翻书找相关内容,再基于书本回答
优势: 答案有据可查,准确可靠
RAG 的核心流程只有三步:
- 增强(Augmented): 把找到的内容提供给 AI
- 生成(Generation): AI 基于这些内容生成答案
简单吧！但要做好,还有很多技术细节。
unsetunset三、系统架构:三层设计,清晰明了unsetunset
Everything plus 采用经典的三层架构:
技术栈选型原则:全部开源,零成本部署
- 检索引擎: Elasticsearch 9.x / Easysearch 2.0.0+(支持向量检索)
- 向量模型: Sentence-Transformers(开源)
- LLM: DeepSeek/Ollama(国产/本地)
unsetunset四、核心技术解密:混合检索是关键unsetunset
4.1 为什么需要"混合检索"?
单纯用关键词检索或向量检索都有局限:
解决方案:混合检索 = BM25 + 向量检索
举个例子:
问题: "如何配置数据库连接?"
BM25 检索结果:
- 文档A: "配置数据库连接的方法..." (精确匹配)
- 文档B: "database connection config" (英文匹配)
向量检索结果:
- 文档C: "设置 MySQL 链接参数..." (语义相似)
- 文档D: "数据库初始化步骤..." (相关内容)
融合后: A(最相关) > C > B > D
4.2 RRF 融合算法:简单但有效
两种检索结果如何合并?这里用到 RRF(倒数排名融合) 算法:
# 核心公式
RRF_score = 1/(k + rank1) + 1/(k + rank2)
# 例子
文档A: rank1=1, rank2=3
score = 1/(60+1) + 1/(60+3) = 0.0164 + 0.0159 = 0.0323
文档B: rank1=5, rank2=1
score = 1/(60+5) + 1/(60+1) = 0.0154 + 0.0164 = 0.0318
关键思想:同时出现在两个结果列表中的文档,得分会更高
4.3 查询重写:一个问题变三个
用户的问题往往很简短,直接检索效果不好。系统会自动生成多个查询变体:
原始查询: "系统怎么用"
自动重写为:
1. "系统怎么用 详细说明"
2. "什么是 系统怎么用"
3. "系统怎么用 步骤"
# 每个变体都去检索,结果再融合
# 这样可以找到更多相关文档
4.4 提示词工程:让 AI 不胡说
RAG 的关键是让 AI 只基于检索到的内容回答:
prompt = f"""
你是一个文档问答助手。请严格基于以下上下文回答问题:
【上下文】
[块1] {doc1_content}
[块2] {doc2_content}
[块3] {doc3_content}
【规则】
1. 只能使用上述上下文中的信息
2. 如果上下文中没有答案,明确说"文档中未找到相关信息"
3. 引用时注明来源,如"根据[块1]..."
【问题】{user_question}
【回答】
"""
这样设计的提示词,能有效防止 AI "胡编乱造"。
unsetunset五、特色功能:类 Everything 的磁盘扫描unsetunset
这是系统的一大亮点!你可以直接扫描本地磁盘,自动索引文档:
5.1 扫描流程
首次扫描是全量的,但后续扫描会智能判断:
5.2 智能增量更新
首次扫描是全量的,但后续扫描会智能判断:
# 判断文件是否需要重新索引
if file.mtime > last_index_time:
# 文件被修改过,重新索引
re_index(file)
else:
# 文件未变化,跳过
skip(file)
这样即使扫描大量文件,也不会重复处理,效率很高。
5.3 支持 30+ 种文件类型
文档类: TXT, MD, PDF, DOCX, XLSX, PPTX
代码类: PY, JS, JAVA, CPP, GO, PHP, TS, RS
配置类: JSON, YAML, XML, INI, CONF, ENV
网页类: HTML, CSS, SCSS
脚本类: SH, BAT, PS1
基本涵盖了日常工作中的所有文本文件。
unsetunset六、实战演示:从安装到使用unsetunset
6.1 环境准备
# 1. 安装 Python 依赖
pip install -r requirements.txt
# 2. 启动 Elasticsearch/Easysearch
系统用了 Elasticsearch 9.0 版本。
Easysearch 2.0 等版本原理一致。
# 3. 安装 MySQL
# (根据你的系统安装 MySQL 5.7+)
# 4. 初始化数据库
python init_database.py
6.2 启动系统
python app.py
访问 http://localhost:16666,注册账号登录。
6.3 索引文档
方式一:上传文档
方式二:扫描磁盘
- 选择要扫描的磁盘(如 D:、E
-
6.4 开始问答
问题: "如何配置 Elasticsearch 连接?"
系统返回:
【答案】
根据[块1]和[块3],Elasticsearch 连接配置如下:
1. 在 config.py 中设置连接参数:
- ES_HOST: Elasticsearch 服务器地址
- ES_PORT: 端口号(默认9200)
- ES_USER: 用户名
- ES_PASSWORD: 密码
2. 初始化客户端:
es = Elasticsearch(
hosts=[{'host': ES_HOST, 'port': ES_PORT}],
basic_auth=(ES_USER, ES_PASSWORD)
)
【证据来源】
[块1] 文档: config_guide.md, 第2段
[块3] 文档: setup.md, 第5段
【相关文档】(3个)
- config_guide.md
- setup.md
- troubleshooting.md
unsetunset七、性能优化经验unsetunset
7.1 检索性能
- 批量查询: 使用 Elasticsearch 的
_msearch API
-
7.2 索引性能
- 批量索引: 使用
_bulk API,100条一批
7.3 向量生成优化
# 批量生成向量,而不是逐个生成
texts = [chunk1, chunk2, ..., chunk100]
vectors = model.encode(texts, batch_size=32)
# 比逐个生成快10倍以上
unsetunset八、踩过的坑和解决方案unsetunset
坑1: 向量维度不匹配
问题: Elasticsearch 索引的向量维度与模型不一致
# 错误
mapping = {
"vector": {"type": "dense_vector", "dims": 512} # 但模型是384维
}
# 正确:先确认模型维度
model = SentenceTransformer('all-MiniLM-L6-v2')
print(model.get_sentence_embedding_dimension()) # 384
mapping = {
"vector": {"type": "dense_vector", "dims": 384} # 与模型一致
}
坑2: PDF 提取乱码
问题: PDF 中的中文提取出来全是乱码
解决: 使用 pdfplumber 代替 PyPDF2
# pdfplumber 对中文支持更好
import pdfplumber
with pdfplumber.open(pdf_path) as pdf:
text = ""
for page in pdf.pages:
text += page.extract_text()
坑3: 长文档检索效果差
问题: 长文档切分成小块后,检索只能找到片段,缺乏上下文
解决: 使用重叠切分
from langchain.text_splitter import RecursiveCharacterTextSplitter
splitter = RecursiveCharacterTextSplitter(
chunk_size=500, # 每块500字符
chunk_overlap=50, # 重叠50字符,保留上下文
length_function=len
)unset
unsetunset九、总结与思考unsetunset
核心收获
-
-
-
-
最后的话
Everything plus 展示了如何用开源技术构建一个生产级的 RAG 系统。它不是最先进的,但是最实用、最接地气的。
重要的不是技术有多酷,而是能不能解决实际问题。如果这个系统能让你从"找文档"的痛苦中解脱出来,那就值了。
更短时间更快习得更多干货！
和全球 2100+ Elastic 爱好者一起精进！
