BM25算法被多种RAG开源框架和向量库的向量查询中提到或使用到。本文介绍BM25算法的基本原理，并通过一个可运行的例子来说明如何使用BM25算法。
BM25（Best Match 25）是一种用于信息检索的概率模型，常用于搜索引擎和问答系统中。在RAG（Retrieval-Augmented Generation）框架中，BM25用于从大规模文档库中检索与查询最相关的文档。
BM25基于词频（TF）和逆文档频率（IDF）计算文档与查询的相关性，结合了文档长度归一化，能够有效处理不同长度的文档。
下面是一个使用Python实现BM25算法的完整示例。我们将使用rank_bm25库，这是一个常用的BM25实现库，可以方便地计算文档与查询的相关性。
pipinstallrank-bm25
代码的基本逻辑如下：
（1）分别对每个文档和问题进行分词处理
（2）通过分词后的文档列表来初始化BM25算法
（3）计算问题(query)与分词列表进行相似度比较
（4）从文档列表中找到相关性分数最大的文档，该文档即是我们要找的文档。
代码的实现如下：
fromrank_bm25importBM25Okapi
importjieba# 用于中文分词
# 示例文档库
documents=[
"猫是一种可爱的动物，喜欢抓老鼠。",
"狗是人类的好朋友，喜欢追猫。",
"老鼠是一种小型啮齿动物，猫喜欢抓它们。"
]
print(documents)
# 用户查询
query="猫喜欢抓什么动物？"
print("问题: "+query)
# 对文档和查询进行分词
deftokenize(text):
returnlist(jieba.cut(text))
# 分词后的文档库
tokenized_documents=[tokenize(doc)fordocindocuments]
# 分词后的查询
tokenized_query=tokenize(query)
# 初始化BM25模型
bm25=BM25Okapi(tokenized_documents)
# 计算查询与文档的相关性得分
doc_scores=bm25.get_scores(tokenized_query)
# 打印每个文档的得分
fori,scoreinenumerate(doc_scores):
print(f"文档{i+1}的 BM25 得分:{score}")
# 找到最相关的文档
most_relevant_doc_index=doc_scores.argmax()
print(f"\n最相关的文档是文档{most_relevant_doc_index+1}:{documents[most_relevant_doc_index]}")
分词：
使用jieba库对中文文档和查询进行分词。
例如，文档1分词结果为：['猫', '是', '一种', '可爱', '的', '动物', '喜欢', '抓', '老鼠', '。']
初始化BM25模型：
使用BM25Okapi类初始化BM25模型，传入分词后的文档库。
计算相关性得分：
使用get_scores方法计算查询与每个文档的相关性得分。
排序和输出：
根据得分排序，找到最相关的文档。
['猫是一种可爱的动物，喜欢抓老鼠。','狗是人类的好朋友，喜欢追猫。','老鼠是一种小型啮齿动物，猫喜欢抓它们。']
问题:猫喜欢抓什么动物？
Buildingprefixdictfromthedefaultdictionary...
Loadingmodelfromcache/tmp/jieba.cache
Loadingmodelcost0.705seconds.
Prefixdicthasbeenbuiltsuccessfully.
文档1的BM25得分:0.3001762708496166
文档2的BM25得分:-0.07080064278072501
文档3的BM25得分:-0.2035654844820229
最相关的文档是文档1:猫是一种可爱的动物，喜欢抓老鼠。
在RAG（Retrieval-Augmented Generation）框架中，结合向量检索（如基于嵌入的相似性搜索）和BM25关键词检索的混合检索方法，可以显著提高查询的准确率。这种混合检索的核心思想是利用两种检索方法的互补性，从而更全面地捕捉查询与文档之间的相关性。
优点：
能够捕捉语义相似性，即使查询和文档没有完全匹配的关键词。
适合处理复杂的语义关系，如同义词、上下文相关性等。
缺点：
对领域外或罕见术语的捕捉能力较弱。
需要高质量的嵌入模型（如BERT、Sentence-BERT）和大量的计算资源。
优点：
对精确关键词匹配非常有效，适合处理明确的术语和短查询。
计算效率高，适合大规模文档库。
缺点：
无法捕捉语义相似性，对同义词、上下文相关性不敏感。
对长查询或复杂查询的效果较差。
混合检索的核心原理是结合向量检索和BM25检索的优势，通过加权或排序融合的方式，生成最终的检索结果。具体步骤如下：
（1）分别计算向量检索和BM25检索的得分
向量检索：使用嵌入模型（如BERT）将查询和文档转换为向量，然后计算余弦相似度作为得分。
BM25检索：使用BM25算法计算查询与文档的关键词匹配得分。
（2）得分归一化
由于向量检索和BM25检索的得分范围可能不同，需要对得分进行归一化处理，使其在同一量纲上可比。
（3）加权融合
将两种检索方法的得分进行加权融合，生成最终的检索得分。例如：
Final Score=α⋅BM25 Score+(1−α)⋅Vector ScoreFinal Score=α⋅BM25 Score+(1−α)⋅Vector Score
其中，αα是权重参数，用于调整BM25和向量检索的相对重要性。
（4）排序和返回结果
根据最终得分对文档进行排序，返回最相关的文档。
在实际应用中，混合检索可以通过以下策略实现：
（1）加权求和
将向量检索和BM25检索的得分按一定权重相加，生成最终得分。例如：
Final Score=0.5⋅BM25 Score+0.5⋅Vector ScoreFinal Score=0.5⋅BM25 Score+0.5⋅Vector Score
（2）排序融合
分别对向量检索和BM25检索的结果进行排序，然后通过加权或插值的方式合并排序结果。例如：
取向量检索的前10个结果和BM25检索的前10个结果，合并后重新排序。
（3）阈值过滤
先使用BM25检索过滤出关键词匹配的文档，再使用向量检索对过滤后的文档进行语义排序。
通过本地的ollama安装嵌入模型后，就可以通过该嵌入模型来生成嵌入向量。下面的代码通过本地部署的嵌入模型来计算每个文档块的嵌入向量，然后根据混合
fromrank_bm25importBM25Okapi
fromsklearn.metrics.pairwiseimportcosine_similarity
importnumpyasnp
importjieba
importrequests# 用于发送HTTP请求
# 示例文档库
documents=[
"猫是一种可爱的动物，喜欢抓老鼠。",
"狗是人类的好朋友，喜欢追猫。",
"老鼠是一种小型啮齿动物，猫喜欢抓它们。"
]
# 用户查询
query="猫喜欢抓什么动物？"
# 分词函数
deftokenize(text):
returnlist(jieba.cut(text))
# 分词后的文档库
tokenized_documents=[tokenize(doc)fordocindocuments]
# 初始化BM25模型
bm25=BM25Okapi(tokenized_documents)
# 计算BM25得分
bm25_scores=bm25.get_scores(tokenize(query))
# 嵌入模型API地址
EMBEDDING_MODEL_URL="http://172.16.1.54:11434/api/embeddings"
# 获取嵌入向量的函数
defget_embedding(text):
# 构造请求数据
payload={
"model":"unclemusclez/jina-embeddings-v2-base-code:latest",
"prompt":text
}
# 发送POST请求
response=requests.post(EMBEDDING_MODEL_URL,json=payload)
ifresponse.status_code==200:
# 解析返回的嵌入向量
embedding=response.json().get("embedding")
returnnp.array(embedding)
else:
raiseException(f"Failed to get embedding:{response.status_code}-{response.text}")
# 获取查询和文档的嵌入向量
query_embedding=get_embedding(query)
document_embeddings=[get_embedding(doc)fordocindocuments]
# 计算余弦相似度
vector_scores=cosine_similarity([query_embedding],document_embeddings)[0]
# 归一化得分
bm25_scores_normalized=(bm25_scores-np.min(bm25_scores))/(np.max(bm25_scores)-np.min(bm25_scores))
vector_scores_normalized=(vector_scores-np.min(vector_scores))/(np.max(vector_scores)-np.min(vector_scores))
# 加权融合
alpha=0.5
final_scores=alpha*bm25_scores_normalized+(1-alpha)*vector_scores_normalized
# 排序并输出结果
sorted_indices=np.argsort(final_scores)[::-1]
foriinsorted_indices:
print(f"文档{i+1}的混合得分:{final_scores[i]}-{documents[i]}")
输出：
Buildingprefixdictfromthedefaultdictionary...
Loadingmodelfromcache/tmp/jieba.cache
Loadingmodelcost0.715seconds.
Prefixdicthasbeenbuiltsuccessfully.
文档1的混合得分:1.0-猫是一种可爱的动物，喜欢抓老鼠。
文档2的混合得分:0.5282365628163656-狗是人类的好朋友，喜欢追猫。
文档3的混合得分:0.0-老鼠是一种小型啮齿动物，猫喜欢抓它们。
说明：我这里的得分是基于我的嵌入模型而得到的，不同模型可能不同。
通过结合向量检索和BM25检索，混合检索方法能够同时捕捉语义信息和关键词匹配信息，从而提高RAG框架的查询准确率。这种方法在处理多样化查询、减少漏检和误检方面具有显著优势，是提升检索增强生成系统性能的有效策略。
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |