属于重排序算法，作用于初步检索（如关键词匹配或向量相似度检索）之后，对候选文档进行二次筛选和排序。
在RAG（检索增强生成）流程中，与Embedding模型配合使用，形成“粗筛+精排”的协同机制。
核心作用
解决初步检索的局限性：弥补传统检索方法（如倒排索引或Embedding相似度计算）在语义理解深度上的不足。
提升结果质量：通过多维度评估（如语义一致性、上下文关联性）对文档重新打分，确保高相关性的内容优先展示。
工作原理
监督学习训练：基于大量正确与不正确的查询-文档对，模型学习最大化正确对的分数、最小化错误对的分数。
相关性评分：输入查询和文档，直接输出两者的匹配分数，并依此排序。
典型应用场景
RAG系统：优化检索文档的排序，提升大模型生成回答的准确性。
搜索引擎/推荐系统：精细化调整结果顺序，增强用户满意度。
Rerank模型与Embedding模型有什么区别？
以下是Rerank模型与Embedding模型的对比表格，涵盖核心差异及典型应用：
| 对比维度 | Embedding模型 | Rerank模型 |
|---|---|---|
| 主要目标 | 将文本映射为向量，实现大规模快速语义检索 | 对初步检索结果精细化重排序，提升相关文档的排名精度 |
| 输入输出形式 | - 输入：单条文本（查询或文档） - 输出：固定长度的稠密向量（如768维） | - 输入：查询+文档对 - 输出：相关性分数（无固定范围，如0.85） |
| 典型架构 | 双编码器（Bi-Encoder） （如BERT的两个独立编码塔） | 交叉编码器（Cross-Encoder） （如BERT联合编码查询和文档） |
| 计算方式 | 独立编码文本，通过向量相似度（如余弦距离）排序 | 联合编码查询和文档，捕捉细粒度语义交互后直接打分 |
| 应用阶段 | 检索流程前端：从海量数据中快速召回候选集（如Top-100） | 检索流程后端：对少量候选集（如Top-100）二次精排，输出最终结果（如Top-5） |
| 资源消耗 | - 可离线预计算文档向量 - 在线检索效率高（仅需计算查询向量） | - 需在线实时计算查询与每个文档的交互 - 计算成本随候选数量线性增长 |
| 效果优化方向 | 提升语义空间质量（如均匀性、泛化性），可能损失细粒度语义 | 直接优化相关性判别能力，通过监督学习精准匹配意图 |
| 典型模型/工具 | 开源：BGE-base-zh、text2vec商业：OpenAI Embedding、Cohere Embed | 开源：BGE-reranker-large、bge-reranker-base商业：Cohere Rerank API |
| 适用场景 | 需要快速筛选候选的场景（如搜索引擎首轮召回、推荐系统冷启动） | 需要高精度排序的场景（如RAG增强生成、广告排序、问答系统答案优化） |
| 优缺点对比 | ✅ 优点：高效、可扩展 ❌ 缺点：语义匹配粒度较粗 | ✅ 优点：精度高、语义理解深 ❌ 缺点：计算慢、扩展性差 |
典型协作场景示例（以RAG系统为例）：
Embedding模型将用户查询和文档库编码为向量，完成初步召回
Rerank模型对召回结果进行二次排序，提升LLM生成答案的准确性
两者形成“粗筛+精排”的互补机制，兼顾效率与精度
基于LlamaIndex的RAG评测：
Rerank模型怎么选择？
首先可以参考https://huggingface.co/spaces/mteb/leaderboard_legacy
无脑选择还是推荐智普系列
多语言场景优先选择
BAAI/bge-reranker-v2-m3
BAAI/bge-reranker-v2-gemma
| Model | Base model | Language | layerwise | feature |
|---|---|---|---|---|
| BAAI/bge-reranker-base | xlm-roberta-base | Chinese and English | - | Lightweight reranker model, easy to deploy, with fast inference. |
| BAAI/bge-reranker-large | xlm-roberta-large | Chinese and English | - | Lightweight reranker model, easy to deploy, with fast inference. |
| BAAI/bge-reranker-v2-m3 | bge-m3 | Multilingual | - | Lightweight reranker model, possesses strong multilingual capabilities, easy to deploy, with fast inference. |
| BAAI/bge-reranker-v2-gemma | gemma-2b | Multilingual | - | Suitable for multilingual contexts, performs well in both English proficiency and multilingual capabilities. |
| BAAI/bge-reranker-v2-minicpm-layerwise | MiniCPM-2B-dpo-bf16 | Multilingual | 8-40 | Suitable for multilingual contexts, performs well in both English and Chinese proficiency, allows freedom to select layers for output, facilitating accelerated inference. |
写在最后
从Rerank模型的核心不可替代性方面考虑
| 能力维度 | Rerank模型价值 | 大模型替代可行性分析 |
|---|---|---|
| 语义交互深度 | 通过交叉编码实现查询与文档的细粒度语义匹配（如歧义消解） | LLM无法直接替代该层级的语义判别能力 |
| 计算效率 | 对Top-100候选集二次精排仅需毫秒级延迟 | LLM处理同等数据量需数倍计算资源 |
| 系统解耦优势 | 独立模块便于迭代优化（如领域适配微调） | 端到端方案调试复杂度指数级上升 |
一些精准回答的推荐方案
| 场景类型 | 推荐方案 | 理论收益 |
|---|---|---|
| 高精度问答系统 | Rerank+全参数LLM | 答案准确率提升18-25% |
| 实时对话场景 | Rerank+层数裁剪LLM | 响应延迟降低40%，精度损失<3% |
| 多模态检索 | 多模态Rerank+跨模态LLM | 跨模态对齐效率提升30% |