在RAG系统中，提升知识库文档的召回准确率，对于提高整个系统的用户体验至关重要。
今天，我就从文档切割粒度、检索后排序、混合检索、RAG-Fusion这几个方面，详细介绍如何提升知识库文档的召回准确率，希望对你有所帮助。
在RAG系统中，文档切割是将大文档分割成更小的文本块，以便更高效地进行向量表示和检索。而切割粒度的大小直接影响检索的效率和召回率。
文档如果切割粒度太细，可能导致上下文信息丢失，使得检索到的文本块无法准确反映原文的含义，从而降低召回率。
但如果切割粒度太粗，虽然保留了上下文信息，但可能使得检索范围过大，增加噪声，同样影响召回率。
因此，选择适中的切割粒度很重要。但具体如何切割，也没有标准答案，需要具体情况具体分析。
例如，对于技术文档或法律文件，可以按段落或章节进行切割；对于新闻报道或博客文章，可以按句子或段落进行切割。
目前，行业内还有一种做法，就是重叠式切割，主要也是为了使上下文更完整，感兴趣可以详细了解下。
通常情况下，初始检索结果可能包含大量与查询相关，但实际相关性不高的文档，通过重排序技术，可以将相关性更高的文档排在前面，提高召回准确率。
比如，可以基于统计打分的重排序，通过汇总多个来源的候选结果列表，使用多路召回的加权得分或倒数排名融合算法，来为所有结果重新算分。这种方法计算简单，成本低效率高，广泛用于对延迟较敏感的场景。
另外，可以基于深度学习的重排序，利用BAAI/bge-reranker-v2-m3这类的模型，更好地分析问题和文档之间的相关性。这种方法检索准确度更高，但成本也更高，适合对检索精度要求高的场景。
单一的检索方式可能无法全面捕捉用户查询的意图，混合检索通过结合多种检索方式，可以显著提高召回率。
关键词匹配召回简单直接，能快速找到包含特定关键词的文档；向量匹配召回能更好地处理语义层面的匹配，提高召回的全面性。而将两者结合，可以兼顾召回的速度和准确性。
另外，全文检索能够捕捉文档中的完整信息，但计算成本较高；向量检索计算效率高，但可能丢失上下文信息。通过结合两种检索方式，也可以充分利用各自的优势，提高召回率。
RAG-Fusion可能大家了解的不多，它是一种将多查询召回与结果融合策略结合使用的优化方法，通过多次查询和结果融合，提高召回率和准确性。
首先，使用多个不同的查询来获取更全面的内容，这些查询可以是基于原始查询的变体、同义词、近义词或语义相关的词汇生成，当然，我们可以利用LLM给我们生成即可，也就是把用户原始的问题，再用不同的几句话表达出来，分别做查询。
根据各次查询结果的重要性进行加权排序，确保最终展示给用户的结果是高度相关且全面的。
提升RAG系统中知识库文档的召回准确率需要从多个方面入手。通过合理的文档切割粒度、检索后排序、混合检索和RAG-Fusion等策略，可以显著提高召回率，为用户提供更准确、更有价值的回答。在实际应用中，还是得根据具体场景和需求，选择适合的策略进行优化哈。
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |