深度解读：LlamaIndex 实现 RAG 重排序的关键要点 - 链载Ai

重排序就是在初始检索（Initial Retrieval）得到的一批候选文档（通常是 Top-k）中，再进行一次更精细的排序，以便把最相关的内容排在最前面。

初始检索（如基于向量的最近邻）虽然快，但它的匹配能力较弱，可能：

前提:chroma向量数据库里已有大量关于劳动法相关的数据，可以直接进行查询。

importjsonimporttimefrompathlibimportPathfromtypingimportList,Dictimportchromadbfromllama_index.coreimportVectorStoreIndex,StorageContext,Settings,get_response_synthesizer,PromptTemplatefromllama_index.core.schemaimportTextNodefromllama_index.llms.huggingfaceimportHuggingFaceLLMfromllama_index.embeddings.huggingfaceimportHuggingFaceEmbeddingfromllama_index.vector_stores.chromaimportChromaVectorStorefromllama_index.core.postprocessorimportSentenceTransformerRerank#==================配置区==================QA_TEMPLATE=("<|im_start|>system\n""您是中国劳动法领域专业助手，必须严格遵循以下规则：\n""1.仅使用提供的法律条文回答问题\n""2.若问题与劳动法无关或超出知识库范围，明确告知无法回答\n""3.引用条文时标注出处\n\n""可用法律条文（共{context_count}条）：\n{context_str}\n<|im_end|>\n""<|im_start|>user\n问题：{query_str}<|im_end|>\n""<|im_start|>assistant\n")response_template=PromptTemplate(QA_TEMPLATE)classConfig:RERANK_MODEL_PATH=r"D:\Test\LLMTrain\testllm\llm\BAAI\bge-reranker-v2-m3"#新增重排序模型路径EMBED_MODEL_PATH=r"D:\Test\LLMTrain\testllm\llm\BAAI\bge-m3"LLM_MODEL_PATH=r"D:\Test\LLMTrain\testllm\llm\Qwen\Qwen2___5-3B-Instruct"DATA_DIR=r"D:\Test\LLMTrain\day23\data"VECTOR_DB_DIR=r"D:\Test\LLMTrain\day23\chroma_db"ERSIST_DIR=r"D:\Test\LLMTrain\day23\storage"COLLECTION_NAME="chinese_labor_laws"TOP_K=10#扩大初始检索数量RERANK_TOP_K=3#重排序后保留数量#Embedding模型embed_model=HuggingFaceEmbedding(model_name=Config.EMBED_MODEL_PATH,)#LLMllm=HuggingFaceLLM(model_name=Config.LLM_MODEL_PATH,tokenizer_name=Config.LLM_MODEL_PATH,model_kwargs={"trust_remote_code":True,},tokenizer_kwargs={"trust_remote_code":True},generate_kwargs={"temperature":0.3})#初始化重排序器（新增）reranker=SentenceTransformerRerank(model=Config.RERANK_MODEL_PATH,top_n=Config.RERANK_TOP_K)Settings.embed_model=embed_modelSettings.llm=llmchroma_client=chromadb.PersistentClient(path=Config.VECTOR_DB_DIR)chroma_collection=chroma_client.get_or_create_collection(name=Config.COLLECTION_NAME,metadata={"hnsw:space":"cosine"})print("从chromadb中加载索引...")index=VectorStoreIndex.from_vector_store(ChromaVectorStore(chroma_collection=chroma_collection))question="劳动合同试用期最长多久?"#创建查询引擎query_engine=index.as_query_engine(similarity_top_k=Config.TOP_K,#初始向量召回数量text_qa_template=response_template,node_postprocessors=[reranker]#重排序阶段)#执行查询response=query_engine.query(question)#显示结果print(f"\n智能助手回答：\n{response.response}")print("\n支持依据：")foridx,nodeinenumerate(response.source_nodes,1):meta=node.metadataprint(f"\n[{idx}]{meta['full_title']}")print(f"来源文件：{meta['source_file']}")print(f"法律名称：{meta['law_name']}")print(f"条款内容：{node.text[:100]}...")print(f"相关度得分：{node.score:.4f}")

在其他 RAG 框架（如 LangChain、Haystack）中看到显式的 retriever 对象，但在 LlamaIndex 中，这个检索器是 “内嵌” 在 QueryEngine 里的，一般不需要手动创建 retriever。

在 LlamaIndex 中使用重排序器（Re-Ranker）后，如果你想要进一步基于得分过滤掉低质量文档（例如 score < 0.5），你需要写一个自定义的 NodePostprocessor，因为内置的 SentenceTransformerRerank 本身不会主动做过滤 —— 它只是重排。

fromtypingimportList,OptionalfrompydanticimportFieldfromllama_index.core.schemaimportNodeWithScore, QueryBundlefromllama_index.core.postprocessor.typesimportBaseNodePostprocessor
classScoreThresholdFilter(BaseNodePostprocessor): """  自定义节点后处理器：根据得分阈值过滤节点，并在所有节点得分过低时提供回退机制。
  参数:    threshold (float): 过滤的得分阈值，默认值为 0.5。    verbose (bool): 是否打印详细的过滤信息，默认值为 False。  """
  threshold:float= Field(default=0.5, description="过滤的得分阈值")  verbose:bool= Field(default=False, description="是否打印详细的过滤信息")
 def_postprocess_nodes(    self,    nodesist[NodeWithScore],    query_bundle:Optional[QueryBundle] =None,  ) ->List[NodeWithScore]:   ifself.verbose:     print(f"[ScoreThresholdFilter] 原始节点数:{len(nodes)}")     foridx, nodeinenumerate(nodes):        score_display =f"{node.score:.4f}"ifnode.scoreisnotNoneelse"None"       print(f" 节点{idx +1}: 得分 ={score_display}")
   # 过滤得分低于阈值的节点    filtered_nodes = [      nodefornodeinnodes     ifnode.scoreisNoneornode.score >= self.threshold    ]
   # 如果过滤后节点数少于1   iflen(filtered_nodes) <1:     ifself.verbose:       print(f"[ScoreThresholdFilter] 所有节点得分均低于阈值{self.threshold}，")     returnfiltered_nodes   ifself.verbose:     print(f"[ScoreThresholdFilter] 过滤后节点数:{len(filtered_nodes)}，阈值:{self.threshold}")     foridx, nodeinenumerate(filtered_nodes):        score_display =f"{node.score:.4f}"ifnode.scoreisnotNoneelse"None"       print(f" 保留节点{idx +1}: 得分 ={score_display}")
   returnfiltered_nodes

score 是 Re-ranker 打出来的，不是 similarity score（相似度）或 embedding 距离。

importjsonimporttimefrompathlibimportPathfromtypingimportList,Dict
importchromadbfromllama_index.coreimportVectorStoreIndex, StorageContext, Settings, get_response_synthesizer,PromptTemplatefromllama_index.core.schemaimportTextNodefromllama_index.llms.huggingfaceimportHuggingFaceLLMfromllama_index.embeddings.huggingfaceimportHuggingFaceEmbeddingfromllama_index.vector_stores.chromaimportChromaVectorStorefromllama_index.core.postprocessorimportSentenceTransformerRerankfrom score_threshold_filterimportScoreThresholdFilter
# ================== 配置区 ==================QA_TEMPLATE = ( "<|im_start|>system\n" "您是中国劳动法领域专业助手，必须严格遵循以下规则：\n" "1.仅使用提供的法律条文回答问题\n" "2.若问题与劳动法无关或超出知识库范围，明确告知无法回答\n" "3.引用条文时标注出处\n\n" "可用法律条文（共{context_count}条）：\n{context_str}\n<|im_end|>\n" "<|im_start|>user\n问题：{query_str}<|im_end|>\n" "<|im_start|>assistant\n")response_template = PromptTemplate(QA_TEMPLATE)classConfig:
  RERANK_MODEL_PATH =r"D:\Test\LLMTrain\testllm\llm\BAAI\bge-reranker-v2-m3"# 新增重排序模型路径  EMBED_MODEL_PATH =r"D:\Test\LLMTrain\testllm\llm\BAAI\bge-m3"  LLM_MODEL_PATH =r"D:\Test\LLMTrain\testllm\llm\Qwen\Qwen2___5-3B-Instruct"
  DATA_DIR =r"D:\Test\LLMTrain\day23\data"  VECTOR_DB_DIR =r"D:\Test\LLMTrain\day23\chroma_db"  PERSIST_DIR =r"D:\Test\LLMTrain\day23\storage"
  COLLECTION_NAME ="chinese_labor_laws"  TOP_K =10# 扩大初始检索数量  RERANK_TOP_K =3# 重排序后保留数量
# Embedding模型embed_model = HuggingFaceEmbedding(  model_name=Config.EMBED_MODEL_PATH,)
# LLMllm = HuggingFaceLLM(  model_name=Config.LLM_MODEL_PATH,  tokenizer_name=Config.LLM_MODEL_PATH,  model_kwargs={   "trust_remote_code":True,  },  tokenizer_kwargs={"trust_remote_code":True},  generate_kwargs={"temperature":0.3})
# 初始化重排序器（新增）reranker = SentenceTransformerRerank(  model=Config.RERANK_MODEL_PATH,  top_n=Config.RERANK_TOP_K)
Settings.embed_model = embed_modelSettings.llm = llm
chroma_client = chromadb.PersistentClient(path=Config.VECTOR_DB_DIR)chroma_collection = chroma_client.get_or_create_collection(    name=Config.COLLECTION_NAME,    metadata={"hnsw:space":"cosine"})
print("从chromadb中加载索引...")index = VectorStoreIndex.from_vector_store(ChromaVectorStore(chroma_collection=chroma_collection))
#question="劳动合同试用期最长多久?"question="什么是xtuner?"
# 导入自定义过滤器，分数低于0.6将会被移除score_filter = ScoreThresholdFilter(threshold=0.6, verbose=True)

# 创建查询引擎query_engine = index.as_query_engine(  similarity_top_k=Config.TOP_K, # 初始向量召回数量  text_qa_template=response_template,  node_postprocessors=[reranker,score_filter],# 重排序+过滤低分)
# 执行查询response = query_engine.query(question)
ifnotresponse.responseorresponse.response.strip() ==""orresponse.response.strip().lower() =="empty response": print("未找到相关数据")else: # 显示结果 print(f"\n智能助手回答：\n{response.response}") print("\n支持依据：") foridx, nodeinenumerate(response.source_nodes,1):    meta = node.metadata   print(f"\n[{idx}]{meta['full_title']}")   print(f" 来源文件：{meta['source_file']}")   print(f" 法律名称：{meta['law_name']}")   print(f" 条款内容：{node.text[:100]}...")   print(f" 相关度得分：{node.score:.4f}")