ChunkRAG的方法论
ChunkRAG的方法论旨在通过细粒度的过滤机制来提高检索增强生成（RAG）系统的精确性和事实准确性。该方法论分为两个主要阶段：语义分块和混合检索及高级过滤。
语义分块
语义分块是ChunkRAG的基础步骤，将输入文档转换为语义上有意义的单元，以促进有效的检索和评估。这一阶段包括以下三个子过程：
1. 输入准备：
- 使用NLTK的
sent_tokenize函数将文档D分词为句子。 - 每个句子使用预训练的嵌入模型（如
text-embedding-3-small）生成嵌入向量。
2. 分块形成：
- 根据语义相似性将连续句子分组为分块，通过余弦相似度测量。
- 如果连续句子之间的相似性低于阈值（θ=0.7），则创建一个新的分块。
- 每个分块进一步限制在500个字符以内，以确保在后续阶段的高效性。
3. 分块嵌入生成：
- 生成的分块嵌入存储在向量数据库中，以便在查询阶段进行高效检索。
混合检索和高级过滤
在检索和过滤阶段，ChunkRAG将传统的RAG组件与高级微调技术集成，以确保稳健和高质量的检索。这一阶段包括以下步骤：
1. 检索器初始化和查询重写：
- 初始化一个能够将用户查询与分块嵌入进行比较的检索器。
- 使用GPT-4omini应用查询重写步骤，确保查询与存储的嵌入良好匹配，从而提高检索过程中的召回率和精确度。
2. 初始过滤：
- 使用TF-IDF评分和余弦相似度的组合对检索到的分块进行初始过滤。
3. 相关性评分和阈值设定：
- 每个分块由大型语言模型（LLM）分配初始相关性评分。
- 这些评分通过自我反思和批评模型进行细化，根据领域特定的启发式调整评分。
- 通过分析评分分布设置最终动态阈值，只有超过该阈值的分块被保留。
4. 混合检索策略：
- 采用结合BM25和基于LLM的检索方法的双重检索策略。
- 集成方法使用相等的权重（各0.5）来平衡关键词和语义检索。
- 使用Cohere的重新排序模型（
rerank-englishv3.0）对检索到的分块进行排序，通过增强可能被优先级降低的中心上下文的相关性来解决“中间迷失”问题。
响应生成和评估
在过滤后，剩余的分块用作上下文来生成最终响应。步骤包括：
1. 响应生成：
- 在生成过程中，严格约束确保仅使用检索到的信息，从而最小化幻觉风险。
2. 评估：
ChunkRAG的局限性
尽管ChunkRAG在提高检索增强生成系统的精确性和事实准确性方面表现出色，但仍存在一些局限性：
1. 分块分割的有效性：
- 方法严重依赖于分块分割的有效性。初始分割中的错误可能会创建不相关数据，从而降低响应质量。
- 分块的语义连贯性和大小限制（500个字符以内）可能不适用于所有类型的文档和查询。
2. 嵌入质量：
- 用于分块相关性评估的嵌入质量直接影响过滤效果。低质量的嵌入可能导致不准确的相关性评分和错误的过滤决策。
3. 计算成本：
- 多层次评分（在初始级别集成LLM和批评LLM评估）的成本可能很高，特别是在将方法扩展到更大数据集或实时系统部署时。
- 查询重写、多次检索和重新排序步骤增加了计算复杂性和时间开销。
4. 可扩展性：
- 尽管ChunkRAG在PopQA数据集上展示了积极成果，但在其他领域中的可验证性和在长文本生成任务中的性能尚未得到充分分析，这是由于资源限制。
- 方法在处理大规模数据集和复杂查询时的表现需要进一步验证。
5. 动态阈值设定：
- 动态阈值设定依赖于评分分布的分析，这可能受到数据分布和查询类型的影响。不稳定的评分分布可能导致不一致的阈值设定，影响过滤效果。
6. 混合检索策略的平衡：
- 混合检索策略中BM25和基于LLM的检索方法的权重分配（各0.5）是固定的，可能不适用于所有查询类型和数据集。需要进一步研究和优化以找到最佳平衡点。
7. 生成过程中的约束：
- 在生成过程中严格约束仅使用检索到的信息，虽然减少了幻觉风险，但也可能限制生成响应的创造性和多样性。
综上所述，ChunkRAG通过细粒度的分块过滤和高级检索技术显著提高了RAG系统的精确性和事实准确性，但仍需在分块分割、嵌入质量、计算成本、可扩展性和动态阈值设定等方面进行进一步优化和验证。