BM25算法基本使用以及在RAG中的应用

显示全部楼层

概述

BM25算法被多种RAG开源框架和向量库的向量查询中提到或使用到。本文介绍BM25算法的基本原理，并通过一个可运行的例子来说明如何使用BM25算法。

BM25（Best Match 25）是一种用于信息检索的概率模型，常用于搜索引擎和问答系统中。在RAG（Retrieval-Augmented Generation）框架中，BM25用于从大规模文档库中检索与查询最相关的文档。

BM25基于词频（TF）和逆文档频率（IDF）计算文档与查询的相关性，结合了文档长度归一化，能够有效处理不同长度的文档。

BM25的基本使用

下面是一个使用Python实现BM25算法的完整示例。我们将使用rank_bm25库，这是一个常用的BM25实现库，可以方便地计算文档与查询的相关性。

安装依赖库

pipinstallrank-bm25

编写测试代码

代码的基本逻辑如下：

（1）分别对每个文档和问题进行分词处理

（2）通过分词后的文档列表来初始化BM25算法

（3）计算问题(query)与分词列表进行相似度比较

（4）从文档列表中找到相关性分数最大的文档，该文档即是我们要找的文档。

代码的实现如下：

fromrank_bm25importBM25Okapi
importjieba# 用于中文分词

# 示例文档库
documents=[
 "猫是一种可爱的动物，喜欢抓老鼠。",
 "狗是人类的好朋友，喜欢追猫。",
 "老鼠是一种小型啮齿动物，猫喜欢抓它们。"
]
print(documents)

# 用户查询
query="猫喜欢抓什么动物？"
print("问题: "+query)

# 对文档和查询进行分词
deftokenize(text):
 returnlist(jieba.cut(text))

# 分词后的文档库
tokenized_documents=[tokenize(doc)fordocindocuments]
# 分词后的查询
tokenized_query=tokenize(query)

# 初始化BM25模型
bm25=BM25Okapi(tokenized_documents)
# 计算查询与文档的相关性得分
doc_scores=bm25.get_scores(tokenized_query)
# 打印每个文档的得分
fori,scoreinenumerate(doc_scores):
 print(f"文档{i+1}的 BM25 得分:{score}")

# 找到最相关的文档
most_relevant_doc_index=doc_scores.argmax()
print(f"\n最相关的文档是文档{most_relevant_doc_index+1}:{documents[most_relevant_doc_index]}")

代码说明

分词：

使用jieba库对中文文档和查询进行分词。
例如，文档1分词结果为：['猫', '是', '一种', '可爱', '的', '动物', '喜欢', '抓', '老鼠', '。']

初始化BM25模型：

使用BM25Okapi类初始化BM25模型，传入分词后的文档库。

计算相关性得分：

使用get_scores方法计算查询与每个文档的相关性得分。

排序和输出：

根据得分排序，找到最相关的文档。

结果输出

['猫是一种可爱的动物，喜欢抓老鼠。','狗是人类的好朋友，喜欢追猫。','老鼠是一种小型啮齿动物，猫喜欢抓它们。']
问题:猫喜欢抓什么动物？
Buildingprefixdictfromthedefaultdictionary...
Loadingmodelfromcache/tmp/jieba.cache
Loadingmodelcost0.705seconds.
Prefixdicthasbeenbuiltsuccessfully.
文档1的BM25得分:0.3001762708496166
文档2的BM25得分:-0.07080064278072501
文档3的BM25得分:-0.2035654844820229

最相关的文档是文档1:猫是一种可爱的动物，喜欢抓老鼠。

BM25在RAG中的应用

在RAG（Retrieval-Augmented Generation）框架中，结合向量检索（如基于嵌入的相似性搜索）和BM25关键词检索的混合检索方法，可以显著提高查询的准确率。这种混合检索的核心思想是利用两种检索方法的互补性，从而更全面地捕捉查询与文档之间的相关性。

向量检索和BM25检索的优缺点

向量检索（基于嵌入的相似性搜索）

优点：

能够捕捉语义相似性，即使查询和文档没有完全匹配的关键词。
适合处理复杂的语义关系，如同义词、上下文相关性等。

缺点：

对领域外或罕见术语的捕捉能力较弱。
需要高质量的嵌入模型（如BERT、Sentence-BERT）和大量的计算资源。

BM25关键词检索

优点：

对精确关键词匹配非常有效，适合处理明确的术语和短查询。
计算效率高，适合大规模文档库。

缺点：

无法捕捉语义相似性，对同义词、上下文相关性不敏感。
对长查询或复杂查询的效果较差。

混合检索的原理

混合检索的核心原理是结合向量检索和BM25检索的优势，通过加权或排序融合的方式，生成最终的检索结果。具体步骤如下：

（1）分别计算向量检索和BM25检索的得分

向量检索：使用嵌入模型（如BERT）将查询和文档转换为向量，然后计算余弦相似度作为得分。
BM25检索：使用BM25算法计算查询与文档的关键词匹配得分。

（2）得分归一化

由于向量检索和BM25检索的得分范围可能不同，需要对得分进行归一化处理，使其在同一量纲上可比。

（3）加权融合

将两种检索方法的得分进行加权融合，生成最终的检索得分。例如：

Final Score=α⋅BM25 Score+(1−α)⋅Vector ScoreFinal Score=α⋅BM25 Score+(1−α)⋅Vector Score

其中，αα是权重参数，用于调整BM25和向量检索的相对重要性。

（4）排序和返回结果

根据最终得分对文档进行排序，返回最相关的文档。

实际应用中的混合检索策略

在实际应用中，混合检索可以通过以下策略实现：

（1）加权求和

将向量检索和BM25检索的得分按一定权重相加，生成最终得分。例如：

Final Score=0.5⋅BM25 Score+0.5⋅Vector ScoreFinal Score=0.5⋅BM25 Score+0.5⋅Vector Score

（2）排序融合

分别对向量检索和BM25检索的结果进行排序，然后通过加权或插值的方式合并排序结果。例如：

取向量检索的前10个结果和BM25检索的前10个结果，合并后重新排序。

（3）阈值过滤

先使用BM25检索过滤出关键词匹配的文档，再使用向量检索对过滤后的文档进行语义排序。

混合检索的代码实现

通过本地的ollama安装嵌入模型后，就可以通过该嵌入模型来生成嵌入向量。下面的代码通过本地部署的嵌入模型来计算每个文档块的嵌入向量，然后根据混合

fromrank_bm25importBM25Okapi
fromsklearn.metrics.pairwiseimportcosine_similarity
importnumpyasnp
importjieba
importrequests# 用于发送HTTP请求

# 示例文档库
documents=[
 "猫是一种可爱的动物，喜欢抓老鼠。",
 "狗是人类的好朋友，喜欢追猫。",
 "老鼠是一种小型啮齿动物，猫喜欢抓它们。"
]

# 用户查询
query="猫喜欢抓什么动物？"

# 分词函数
deftokenize(text):
 returnlist(jieba.cut(text))

# 分词后的文档库
tokenized_documents=[tokenize(doc)fordocindocuments]
# 初始化BM25模型
bm25=BM25Okapi(tokenized_documents)
# 计算BM25得分
bm25_scores=bm25.get_scores(tokenize(query))
# 嵌入模型API地址
EMBEDDING_MODEL_URL="http://172.16.1.54:11434/api/embeddings"


# 获取嵌入向量的函数
defget_embedding(text):
 # 构造请求数据
 payload={
   "model":"unclemusclez/jina-embeddings-v2-base-code:latest",
   "prompt":text
  }
 # 发送POST请求
 response=requests.post(EMBEDDING_MODEL_URL,json=payload)
 ifresponse.status_code==200:
   # 解析返回的嵌入向量
   embedding=response.json().get("embedding")
   returnnp.array(embedding)
 else:
   raiseException(f"Failed to get embedding:{response.status_code}-{response.text}")

# 获取查询和文档的嵌入向量
query_embedding=get_embedding(query)
document_embeddings=[get_embedding(doc)fordocindocuments]
# 计算余弦相似度
vector_scores=cosine_similarity([query_embedding],document_embeddings)[0]

# 归一化得分
bm25_scores_normalized=(bm25_scores-np.min(bm25_scores))/(np.max(bm25_scores)-np.min(bm25_scores))
vector_scores_normalized=(vector_scores-np.min(vector_scores))/(np.max(vector_scores)-np.min(vector_scores))

# 加权融合
alpha=0.5
final_scores=alpha*bm25_scores_normalized+(1-alpha)*vector_scores_normalized

# 排序并输出结果
sorted_indices=np.argsort(final_scores)[::-1]
foriinsorted_indices:
 print(f"文档{i+1}的混合得分:{final_scores[i]}-{documents[i]}")

输出：

Buildingprefixdictfromthedefaultdictionary...
Loadingmodelfromcache/tmp/jieba.cache
Loadingmodelcost0.715seconds.
Prefixdicthasbeenbuiltsuccessfully.
文档1的混合得分:1.0-猫是一种可爱的动物，喜欢抓老鼠。
文档2的混合得分:0.5282365628163656-狗是人类的好朋友，喜欢追猫。
文档3的混合得分:0.0-老鼠是一种小型啮齿动物，猫喜欢抓它们。

说明：我这里的得分是基于我的嵌入模型而得到的，不同模型可能不同。

总结

通过结合向量检索和BM25检索，混合检索方法能够同时捕捉语义信息和关键词匹配信息，从而提高RAG框架的查询准确率。这种方法在处理多样化查询、减少漏检和误检方面具有显著优势，是提升检索增强生成系统性能的有效策略。