|
根据使用RAG技术构建企业级文档问答系统之基础流程中的RAG流程描述，有一个很重要步骤是从知识库中检索相关的文档片段，由于RAG是一个典型的串行流程，即先检索，再生成，因此，提升检索性能，通常可以提升RAG的效果。 针对RAG检索部分的优化，已经有不少优化手段，典型的有如下这些： 从本文开始，会陆续覆盖这些优化方法，每次优化，会分别计算检索的命中率，和问答的准确率，以便大家直观地感受不同优化手段带来的性能提升。 检索的命中率，会根据《使用RAG技术构建企业级文档问答系统之基础流程》中介绍的HitRate，问答的准确率，使用《使用RAG技术构建企业级文档问答系统之使用GPT4进行评估》中介绍的方法评估，考虑到大家访问OpenAI的API可能不便，打分统一替换为Qwen2-72B-Instruct。 本文首先介绍Embedding模型优化。通常我们所使用的Embedding模型，由于要考虑到通用型，不会特别针对某个领域做专门的优化。针对Embedding模型的优化，主要有两个部分可以做： 对Embedding做二次预训练 对Embedding模型做微调
对Embedding做二次预训练通常不会有显著的效果提升，本文主要介绍对Embedding模型的微调。所选取的模型是BAAI/bge-large-zh-v1.5（HuggingFace中的模型ID），是BAAI（智源）开源的一个Embedding，这个基本上也是目前RAG中用得比较多的模型了，虽然BGE发布后陆续有新的模型不断刷新了榜单，但综合对比下来，BGE还是很能打的。 本文会介绍Embedding微调时，涉及的如下几点： 微调样本构建 微调脚本 训练过程监控：W&B监控 模型效果评估
本文优化后的模型评估效果见下表，可以看出，检索的HitRate，Embedding微调后的模型，都是显著优于Baseline（基础流程中介绍的方法）的，问答全流程，使用3个知识片段的Embedding微调后的模型进行检索，也取得了目前为止的最好效果 本文代码已开源，地址在：https://github.com/Steven-Luo/MasteringRAG
finetune_bge_embedding_v1.sh finetune_bge_embedding_v2.sh finetune_bge_embedding_v3.sh finetune_bge_embedding_v4.sh：最终使用版本
RAG全流程代码为：retrieval/01_bge_embedding_ft.ipynb Embedding模型的训练，虽然对机器的性能要求没有对训练LLM那么高，但也还是有一定要求的，GPU是需要的 CPU：i7-9700K 内存：64GB GPU：GTX 1080Ti（11G显存）
Python：3.10.9 pytorch包：2.2.1 FlagEmbedding包：1.2.10
微调样本的构建过程，其实就是找出跟一个query相似的句子——正样本，以及不相似的句子——负样本，Embedding在微调时，会使用对比学习loss来让模型提高辨别正负样本的能力。 (df,neg_batch_size=-,n_neg_batch=):
tqdm
data=[]
idx,rowtqdm(df.iterrows(),total=(df)):
question=row[]
answer=row[]
neg_samples=df[df[]!=question][].values.tolist()
neg_batch_count=math.ceil(((df)-)/neg_batch_size)
neg_batch_count=(n_neg_batch,neg_batch_count)
neg_batch_idx(neg_batch_count):
batch_neg_samples=neg_samples[neg_batch_idx*neg_batch_size neg_batch_idx+)*neg_batch_size]
batch_neg_samples=[itemitembatch_neg_samplesitem!=answer]
data.append({
:question,
:[answer],
:batch_neg_samples
})
data
(samples,save_filename):
(save_filename,)f:
samplesamples:
f.write(json.dumps(sample,ensure_ascii=))
f.write() 其中df样例如下： build_qa_samples函数的返回结果样例如下：
{:,
:[],
:[,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
]}此处原始参考文档来自BGE官方仓库：https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune 构造好微调样本后，就可以开始微调模型了。代码仓库中包含了4个版本的微调脚本，总体大同小异，此处以finetune_bge_embedding_v4.sh为例
=dirname;
=/work/cache/env/miniconda3/bin:
=outputs/v1_20240713/emb_samples_qd_v2.jsonl
=
=
=
=
=
=expr
=ft_v4_bge_large_epoch__bz__trgrp__date+
=RAG-From-Scratch-Embedding-Finetune
=替换为自己的W&Bkey
=
=experiments/embedding/finetune/
[!-d];
mkdir-p
torchrun--nproc_per_node
-mFlagEmbedding.baai_general_embedding.finetune.run
--output_dir
--model_name_or_path/DataScience/HuggingFace/Models/BAAI/bge-large-zh-v1.5
--train_data
--learning_rate1e-5
--fp16
--num_train_epochs
--per_device_train_batch_size
--gradient_accumulation_steps
--dataloader_drop_lastTrue
--normlizedTrue
--temperature.02
--query_max_len
--passage_max_len
--train_group_size
--negatives_cross_device
--logging_steps
--save_steps
--save_total_limit
--warmup_ratio.05
--lr_scheduler_typecosine
--query_instruction_for_retrieval
cp bashfinetune_bge_embedding_v4.sh 微调后的模型已经上传HuggingFace，大家可以搜索这个模型ID使用：stevenluo/bge-large-zh-v1.5-ft-v4 4个版本的完整训练过程监控，可以访问下方的链接查看： https://wandb.ai/steven-luog/RAG-From-Scratch-Embedding-Finetune/reports/MasteringRAG-Embedding-Finetune--Vmlldzo5MDA3Mjg1?accessToken=vnwdand2uzh1v5wfgv16vtb5rgk1chng81hj8tc7c4gy8lxmo15xwa0xblh9mrrc 上文介绍过，微调样本需要准备query或者question，正样本列表，负样本列表，query自然是用户问题（下面“-”前面的Q），根据正负样本的来源（下面“-”后面的部分），通常可以分为如下几种： Q-Q（question-question）：这种方式适合已经积累了比较多FAQ的企业，希望对用户问题检索FAQ库中的Q，这种情况下，使用Q-Q方式构建的样本，优化的模型检索效果会比较好 Q-A（question-answer）：这种方式比较有误导性，看起来感觉最应该用这种方式构建，但实际上线后，要检索的，是一堆documents，而不是answer，如果你真的用这个方式构建过样本，看一些case就会发现，answer跟实际的文档相差非常远，导致模型微调后，性能反而出现下降 Q-D（question-document）：这种方式，在几个项目中实践下来，基本上是最适合的构建方式，因为实际检索时，就是拿问题去检索文档，确保训练、推理时任务的一致性，也是减少模型性能损失最主要的一个方法
模型的使用方式，与使用RAG技术构建企业级文档问答系统之基础流程中介绍的完全一致，只是替换模型路径model_path即可 HuggingFaceBgeEmbeddings
device=torch.cuda.is_available()
model_path=
embeddings=HuggingFaceBgeEmbeddings(
model_name=model_path,
model_kwargs={:device},
encode_kwargs={:},
query_instruction=
)其余流程与基础流程一致，性能对比的部分大家可以参考代码仓库。 |
