深度解读：LlamaIndex 实现 RAG 重排序的关键要点

显示全部楼层

一、什么是重排序？

重排序就是在初始检索（Initial Retrieval）得到的一批候选文档（通常是 Top-k）中，再进行一次更精细的排序，以便把最相关的内容排在最前面。

这通常是一个二阶段检索流程中的第二阶段：

用户查询→初始检索（Faiss/Chroma）→Top-k候选文档→重排序模型→最终排序→输入给LLM

“重排序就是让模型在初步找到可能答案后，再认真地判断哪个最相关。”

它是提升 RAG 系统精度的“放大镜”，也是拉开好系统与一般系统差距的关键一环。

二、为什么需要重排序？

初始检索（如基于向量的最近邻）虽然快，但它的匹配能力较弱，可能：

把相似但不相关的文档排在前面
错过真正高度相关但表面不那么“近”的文档

重排序的目标是：

精细理解用户查询和文档之间的语义匹配
剔除无关或次相关的文档
提升最终生成内容的准确性、上下文性、相关性

三、重排序方法分类

1、传统方法（弱匹配）

基于规则（如关键词匹配、位置偏好）
BM25 再排序（与初始检索一样，只是重新打分排序）

2、语义方法（强匹配）

双塔模型（Dual Encoder）：

查询和文档分别编码，再计算相似度（快速，但略粗糙）

交叉编码器（Cross Encoder）：

把 Query 和 Document 作为一对输入，喂入一个 BERT/Transformer 模型中，输出一个相关性得分。
更精细（因为能看到全文交互），但计算慢，适合只在少量候选文档中使用

四、常用重排序模型

cross-encoder/ms-marco-MiniLM-L-6-v2（huggingface）
BAAI/bge-reranker-large（BAAI推出，中文和英文都很强，也有多语言版）
ColBERT（高效交叉建模）

五、LlamaIndex实现重排序的代码

前提:chroma向量数据库里已有大量关于劳动法相关的数据，可以直接进行查询。

1、初始化重排序模型

fromllama_index.indices.postprocessorimportSentenceTransformerRerank#初始化重排序器reranker=SentenceTransformerRerank(model=r"D:\Test\LLMTrain\testllm\llm\BAAI\bge-reranker-v2-m3",top_n=3)

2、构建查询引擎

question="劳动合同试用期最长多久?"#创建查询引擎query_engine=index.as_query_engine(similarity_top_k=10,#初始向量召回数量text_qa_template=response_template,node_postprocessors=[reranker]#重排序阶段)#执行查询response=query_engine.query(question)#显示结果print(f"\n智能助手回答：\n{response.response}")print("\n支持依据：")foridx,nodeinenumerate(response.source_nodes,1):meta=node.metadataprint(f"\n[{idx}]{meta['full_title']}")print(f"来源文件：{meta['source_file']}")print(f"法律名称：{meta['law_name']}")print(f"条款内容：{node.text[:100]}...")print(f"相关度得分：{node.score:.4f}")

3、完整的示例代码

importjsonimporttimefrompathlibimportPathfromtypingimportList,Dictimportchromadbfromllama_index.coreimportVectorStoreIndex,StorageContext,Settings,get_response_synthesizer,PromptTemplatefromllama_index.core.schemaimportTextNodefromllama_index.llms.huggingfaceimportHuggingFaceLLMfromllama_index.embeddings.huggingfaceimportHuggingFaceEmbeddingfromllama_index.vector_stores.chromaimportChromaVectorStorefromllama_index.core.postprocessorimportSentenceTransformerRerank#==================配置区==================QA_TEMPLATE=("<|im_start|>system\n""您是中国劳动法领域专业助手，必须严格遵循以下规则：\n""1.仅使用提供的法律条文回答问题\n""2.若问题与劳动法无关或超出知识库范围，明确告知无法回答\n""3.引用条文时标注出处\n\n""可用法律条文（共{context_count}条）：\n{context_str}\n<|im_end|>\n""<|im_start|>user\n问题：{query_str}<|im_end|>\n""<|im_start|>assistant\n")response_template=PromptTemplate(QA_TEMPLATE)classConfig:RERANK_MODEL_PATH=r"D:\Test\LLMTrain\testllm\llm\BAAI\bge-reranker-v2-m3"#新增重排序模型路径EMBED_MODEL_PATH=r"D:\Test\LLMTrain\testllm\llm\BAAI\bge-m3"LLM_MODEL_PATH=r"D:\Test\LLMTrain\testllm\llm\Qwen\Qwen2___5-3B-Instruct"DATA_DIR=r"D:\Test\LLMTrain\day23\data"VECTOR_DB_DIR=r"D:\Test\LLMTrain\day23\chroma_db"ERSIST_DIR=r"D:\Test\LLMTrain\day23\storage"COLLECTION_NAME="chinese_labor_laws"TOP_K=10#扩大初始检索数量RERANK_TOP_K=3#重排序后保留数量#Embedding模型embed_model=HuggingFaceEmbedding(model_name=Config.EMBED_MODEL_PATH,)#LLMllm=HuggingFaceLLM(model_name=Config.LLM_MODEL_PATH,tokenizer_name=Config.LLM_MODEL_PATH,model_kwargs={"trust_remote_code":True,},tokenizer_kwargs={"trust_remote_code":True},generate_kwargs={"temperature":0.3})#初始化重排序器（新增）reranker=SentenceTransformerRerank(model=Config.RERANK_MODEL_PATH,top_n=Config.RERANK_TOP_K)Settings.embed_model=embed_modelSettings.llm=llmchroma_client=chromadb.PersistentClient(path=Config.VECTOR_DB_DIR)chroma_collection=chroma_client.get_or_create_collection(name=Config.COLLECTION_NAME,metadata={"hnsw:space":"cosine"})print("从chromadb中加载索引...")index=VectorStoreIndex.from_vector_store(ChromaVectorStore(chroma_collection=chroma_collection))question="劳动合同试用期最长多久?"#创建查询引擎query_engine=index.as_query_engine(similarity_top_k=Config.TOP_K,#初始向量召回数量text_qa_template=response_template,node_postprocessors=[reranker]#重排序阶段)#执行查询response=query_engine.query(question)#显示结果print(f"\n智能助手回答：\n{response.response}")print("\n支持依据：")foridx,nodeinenumerate(response.source_nodes,1):meta=node.metadataprint(f"\n[{idx}]{meta['full_title']}")print(f"来源文件：{meta['source_file']}")print(f"法律名称：{meta['law_name']}")print(f"条款内容：{node.text[:100]}...")print(f"相关度得分：{node.score:.4f}")

说明：

在其他 RAG 框架（如 LangChain、Haystack）中看到显式的 retriever 对象，但在 LlamaIndex 中，这个检索器是 “内嵌” 在 QueryEngine 里的，一般不需要手动创建 retriever。

比如以下代码：

query_engine=index.as_query_engine(similarity_top_k=15,node_postprocessors=[reranker],llm=OpenAI(model="gpt-3.5-turbo"))

其实做了 3 件事：

（1）内部构造了一个 Retriever：

similarity_top_k=15 就指定了初始召回的文档数
默认使用 VectorIndexRetriever（内部使用向量进行 ANN 检索）

（2）将结果送入 Re-Ranker（Postprocessor）处理

由你传入的 SentenceTransformerRerank 重新排序

（3）最终传给 LLM 回答问题

当然你也可以显示的使用retriever ，比如以下代码：

question="劳动合同试用期最长多久?"#0-创建检索器retriever=index.as_retriever(similarity_top_k=Config.TOP_K#扩大初始检索数量)#0-创建响应合成器response_synthesizer=get_response_synthesizer(text_qa_template=response_template,verbose=True)#1.初始检索initial_nodes=retriever.retrieve(question)#保存初始分数到元数据fornodeininitial_nodes:node.node.metadata['initial_score']=node.score#2.重排序reranked_nodes=reranker.postprocess_nodes(initial_nodes,query_str=question)#3.合成答案response=response_synthesizer.synthesize(question,nodes=reranked_nodes)#显示结果（修改显示逻辑）print(f"\n智能助手回答：\n{response.response}")print("\n支持依据：")foridx,nodeinenumerate(reranked_nodes,1):#兼容新版API的分数获取方式initial_score=node.metadata.get('initial_score',node.score)#获取初始分数rerank_score=node.score#重排序后的分数meta=node.node.metadataprint(f"\n[{idx}]{meta['full_title']}")print(f"来源文件：{meta['source_file']}")print(f"法律名称：{meta['law_name']}")print(f"初始相关度：{node.node.metadata['initial_score']:.4f}")print(f"重排序得分：{node.score:.4f}")print(f"条款内容：{node.node.text[:100]}...")

六、过滤掉低质量文档

在 LlamaIndex 中使用重排序器（Re-Ranker）后，如果你想要进一步基于得分过滤掉低质量文档（例如 score < 0.5），你需要写一个自定义的 NodePostprocessor，因为内置的 SentenceTransformerRerank 本身不会主动做过滤 —— 它只是重排。

1、创建过滤器模块

文件：score_threshold_filter.py

fromtypingimportList,OptionalfrompydanticimportFieldfromllama_index.core.schemaimportNodeWithScore, QueryBundlefromllama_index.core.postprocessor.typesimportBaseNodePostprocessor
classScoreThresholdFilter(BaseNodePostprocessor): """  自定义节点后处理器：根据得分阈值过滤节点，并在所有节点得分过低时提供回退机制。
  参数:    threshold (float): 过滤的得分阈值，默认值为 0.5。    verbose (bool): 是否打印详细的过滤信息，默认值为 False。  """
  threshold:float= Field(default=0.5, description="过滤的得分阈值")  verbose:bool= Field(default=False, description="是否打印详细的过滤信息")
 def_postprocess_nodes(    self,    nodesist[NodeWithScore],    query_bundle:Optional[QueryBundle] =None,  ) ->List[NodeWithScore]:   ifself.verbose:     print(f"[ScoreThresholdFilter] 原始节点数:{len(nodes)}")     foridx, nodeinenumerate(nodes):        score_display =f"{node.score:.4f}"ifnode.scoreisnotNoneelse"None"       print(f" 节点{idx +1}: 得分 ={score_display}")
   # 过滤得分低于阈值的节点    filtered_nodes = [      nodefornodeinnodes     ifnode.scoreisNoneornode.score >= self.threshold    ]
   # 如果过滤后节点数少于1   iflen(filtered_nodes) <1:     ifself.verbose:       print(f"[ScoreThresholdFilter] 所有节点得分均低于阈值{self.threshold}，")     returnfiltered_nodes   ifself.verbose:     print(f"[ScoreThresholdFilter] 过滤后节点数:{len(filtered_nodes)}，阈值:{self.threshold}")     foridx, nodeinenumerate(filtered_nodes):        score_display =f"{node.score:.4f}"ifnode.scoreisnotNoneelse"None"       print(f" 保留节点{idx +1}: 得分 ={score_display}")
   returnfiltered_nodes

请注意以下几点：

BaseNodePostprocessor 是 LlamaIndex 提供的用于自定义节点后处理（Postprocessing）逻辑的基类。
使用了 pydantic 的 Field 来声明类字段，并提供了默认值和描述。
重写了_postprocess_nodes方法，这是 BaseNodePostprocessor 要求实现的抽象方法，用于处理节点列表。

2、使用过滤器

查询检索的主方法中调整如下代码：

fromscore_threshold_filterimportScoreThresholdFilter#导入自定义过滤器，分数低于0.6将会被移除score_filter=ScoreThresholdFilter(threshold=0.6,verbose=True)#创建查询引擎query_engine=index.as_query_engine(similarity_top_k=Config.TOP_K,#初始向量召回数量text_qa_template=response_template,node_postprocessors=[reranker,score_filter]#重排序+过滤低分)

效果说明：

第一个后处理器（Re-ranker）会将召回的文档排序并附加 score
第二个后处理器（Filter）会把打分太低的文档剔除
最终剩下的文档会被拼接到 Prompt 里喂给 LLM

score 是 Re-ranker 打出来的，不是 similarity score（相似度）或 embedding 距离。

3、完整的示例代码

importjsonimporttimefrompathlibimportPathfromtypingimportList,Dict
importchromadbfromllama_index.coreimportVectorStoreIndex, StorageContext, Settings, get_response_synthesizer,PromptTemplatefromllama_index.core.schemaimportTextNodefromllama_index.llms.huggingfaceimportHuggingFaceLLMfromllama_index.embeddings.huggingfaceimportHuggingFaceEmbeddingfromllama_index.vector_stores.chromaimportChromaVectorStorefromllama_index.core.postprocessorimportSentenceTransformerRerankfrom score_threshold_filterimportScoreThresholdFilter
# ================== 配置区 ==================QA_TEMPLATE = ( "<|im_start|>system\n" "您是中国劳动法领域专业助手，必须严格遵循以下规则：\n" "1.仅使用提供的法律条文回答问题\n" "2.若问题与劳动法无关或超出知识库范围，明确告知无法回答\n" "3.引用条文时标注出处\n\n" "可用法律条文（共{context_count}条）：\n{context_str}\n<|im_end|>\n" "<|im_start|>user\n问题：{query_str}<|im_end|>\n" "<|im_start|>assistant\n")response_template = PromptTemplate(QA_TEMPLATE)classConfig:
  RERANK_MODEL_PATH =r"D:\Test\LLMTrain\testllm\llm\BAAI\bge-reranker-v2-m3"# 新增重排序模型路径  EMBED_MODEL_PATH =r"D:\Test\LLMTrain\testllm\llm\BAAI\bge-m3"  LLM_MODEL_PATH =r"D:\Test\LLMTrain\testllm\llm\Qwen\Qwen2___5-3B-Instruct"
  DATA_DIR =r"D:\Test\LLMTrain\day23\data"  VECTOR_DB_DIR =r"D:\Test\LLMTrain\day23\chroma_db"  PERSIST_DIR =r"D:\Test\LLMTrain\day23\storage"
  COLLECTION_NAME ="chinese_labor_laws"  TOP_K =10# 扩大初始检索数量  RERANK_TOP_K =3# 重排序后保留数量
# Embedding模型embed_model = HuggingFaceEmbedding(  model_name=Config.EMBED_MODEL_PATH,)
# LLMllm = HuggingFaceLLM(  model_name=Config.LLM_MODEL_PATH,  tokenizer_name=Config.LLM_MODEL_PATH,  model_kwargs={   "trust_remote_code":True,  },  tokenizer_kwargs={"trust_remote_code":True},  generate_kwargs={"temperature":0.3})
# 初始化重排序器（新增）reranker = SentenceTransformerRerank(  model=Config.RERANK_MODEL_PATH,  top_n=Config.RERANK_TOP_K)
Settings.embed_model = embed_modelSettings.llm = llm
chroma_client = chromadb.PersistentClient(path=Config.VECTOR_DB_DIR)chroma_collection = chroma_client.get_or_create_collection(    name=Config.COLLECTION_NAME,    metadata={"hnsw:space":"cosine"})
print("从chromadb中加载索引...")index = VectorStoreIndex.from_vector_store(ChromaVectorStore(chroma_collection=chroma_collection))
#question="劳动合同试用期最长多久?"question="什么是xtuner?"
# 导入自定义过滤器，分数低于0.6将会被移除score_filter = ScoreThresholdFilter(threshold=0.6, verbose=True)

# 创建查询引擎query_engine = index.as_query_engine(  similarity_top_k=Config.TOP_K, # 初始向量召回数量  text_qa_template=response_template,  node_postprocessors=[reranker,score_filter],# 重排序+过滤低分)
# 执行查询response = query_engine.query(question)
ifnotresponse.responseorresponse.response.strip() ==""orresponse.response.strip().lower() =="empty response": print("未找到相关数据")else: # 显示结果 print(f"\n智能助手回答：\n{response.response}") print("\n支持依据：") foridx, nodeinenumerate(response.source_nodes,1):    meta = node.metadata   print(f"\n[{idx}]{meta['full_title']}")   print(f" 来源文件：{meta['source_file']}")   print(f" 法律名称：{meta['law_name']}")   print(f" 条款内容：{node.text[:100]}...")   print(f" 相关度得分：{node.score:.4f}")

执行结果如下：

七、在 LlamaIndex 中，RAG 的流程

流程如下：

1️⃣用户输入Query↓2️⃣Retriever召回相关文档（向量/BM25/多模态）↓3️⃣NodePostprocessor对召回结果进行处理-语义重排序-去重、过滤-分段、合并↓4️⃣ResponseSynthesizer拼接上下文并构造Prompt-response_mode:compact/refine/tree/summarize↓5️⃣LLM生成回答（基于prompt+文档）