|
ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif; letter-spacing: 0.75px; white-space: normal; padding-top: 8px; padding-bottom: 8px; line-height: 26px;">大家常说 RAG 应用是：一周出 demo，半年用不好。那么怎么评估 RAG 应用是否能够上生产了呢？如果公司人手足够，当然可以人工测试评估准确性，但指标未免单一。本文介绍一个全自动化的 rag 应用评估框架 ragas。ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif; letter-spacing: 0.75px; white-space: normal; padding-top: 8px; padding-bottom: 8px; line-height: 26px;">RAGas（RAG Assessment)[1]RAG 评估的缩写，是一个专门的解决方案用于评估、监控和提升生产环境中大语言模型（LLM）和检索增强生成（RAG）应用的性能，包括用于生产质量监控的定制模型。它除了评估，还能从数据集中生成测试集，这将极大地降低人力投入，毕竟一个良好的数据集构建是非常消耗时间和人力的。RAGas 从生成和检索两个维度评估 RAG 应用，如下图所示。 ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif; font-size: 15px; letter-spacing: 0.75px; white-space: normal; margin-top: 10px; margin-bottom: 10px;"> ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif; letter-spacing: 0.75px; white-space: normal; padding-top: 8px; padding-bottom: 8px; line-height: 26px;">生成角度可以从忠实性 faithfulness 和回答相关性 answer relevancy 评估，而检索则从上下文精度（context precision）和上下文召回（context recall）上来测评。当然 ragas 不止这四种评测，还有答案准确性（answer correctness），上下文利用率（context utilization），上下文实体召回率（context entity recall）和噪声敏感度（noise sensitivity）等。后面会专门叙述常见的几种指标的计算。在开始评估之前，我们先安装 ragas。pip install ragas
ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif; letter-spacing: 0.75px; white-space: normal; padding-top: 8px; padding-bottom: 8px; line-height: 26px;">安装好之后，我们要如何评估 RAG 呢？拿什么评估？这就必须要说如何准备评估数据集。ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif; letter-spacing: 0.75px; white-space: normal; min-height: 32px; line-height: 28px; color: rgb(119, 48, 152); border-bottom: 1px solid rgb(119, 48, 152); border-top-color: rgb(119, 48, 152); border-right-color: rgb(119, 48, 152); border-left-color: rgb(119, 48, 152); font-size: 22px; margin: 1em auto; padding-top: 0.5em; padding-bottom: 0.5em; text-align: center; width: 367.617px; display: flex; flex-direction: column; justify-content: center;">1. 准备评估数据集ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif; letter-spacing: 0.75px; white-space: normal; padding-top: 8px; padding-bottom: 8px; line-height: 26px;">RAGas 需要的评估数据集格式如下：data_samples={
'question':['第一届超级碗是什么时候举行的？','谁赢得了最多的超级碗冠军？'],
'answer':['第一届超级碗于1967年1月15日举行','赢得最多超级碗冠军的是新英格兰爱国者队'],
'contexts':[['第一届AFL-NFL世界冠军赛是一场美式橄榄球比赛，于1967年1月15日在洛杉矶纪念体育馆举行'],
['绿湾包装工队...位于威斯康星州绿湾市。','包装工队参加...全国橄榄球联合会比赛']],
'ground_truth':['第一届超级碗于1967年1月15日举行','新英格兰爱国者队赢得了创纪录的六次超级碗冠军']
}
ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif; letter-spacing: 0.75px; white-space: normal; padding-top: 8px; padding-bottom: 8px; line-height: 26px;">包含 4 个字段，分别是question、answer、contexts和ground_truth。每一项都是一个数组列表，要注意的是，答案、上下文和基本事实和问题列表是一一对应的，即第一个问题的答案也必须是 answer 中的第一个元素，同时也必须是上下文和基本事实的第一个元素。其中上下文的每个元素都是一组字符串数组，这是因为每个问题都可以有多个上下文。ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif; letter-spacing: 0.75px; white-space: normal; padding-top: 8px; padding-bottom: 8px; line-height: 26px;">如果你人力资源足够的话，我们可以手动构建这个数据集，假设你有问题列表和基本事实列表（这一个不是必须），回答就由你自己的 RAG 应用根据问题来填充，上下文也由你的 RAG 应用填充。ingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif; letter-spacing: 0.75px; white-space: normal; padding-top: 8px; padding-bottom: 8px; line-height: 26px;">此外，我们也可以使用 ragas 根据数据集自动构建。因为要读入数据，这里需要先安装 langchain 或者 llamaindex 来支持数据的读入。pipinstalllangchain-community==0.2.17
pipinstallunstructured==0.15.13
然后使用如下代码，读入数据。 fromlangchain_community.document_loadersimportDirectoryLoader
loader=DirectoryLoader("～/Projects/graphrag/input")
documents=loader.load()
fordocumentindocuments:
document.metadata['filename']=document.metadata['source']
既然要生成数据集，当然需要大语言模型的支持了，也需要 embedding 模型支持，这里采用 DeepSeek 和智谱的在线模型 API。 fromlangchain_openaiimportChatOpenAI,OpenAIEmbeddings
generator_llm=ChatOpenAI(model="deepseek-chat",openai_api_base="https://api.deepseek.com/v1",openai_api_key="xxxx")
critic_llm=ChatOpenAI(model="deepseek-chat",openai_api_base="https://api.deepseek.com/v1",openai_api_key="xxxx")
embeddings=OpenAIEmbeddings(openai_api_base="https://open.bigmodel.cn/api/paas/v4",openai_api_key="xxxx",embedding_ctx_length=512,chunk_size=512,model="embedding-3")
注意必须配置这些选项，不然它默认就是访问 OpenAI 的模型。
然后就是使用 ragas 框架的 API 来生成测试集了，首先初始化测试集生成器。 generator=TestsetGenerator.from_langchain(
generator_llm,
critic_llm,
embeddings
)
然后调用 APIgenerate_with_langchain_docs准备生成，参数为读取的 documents，生成的数据集条数 test_size 以及生成问题的分布，如简单的占比 0.5，推理的 0.25 以及多个上下文的 0.25。 testset:TestDataset=generator.generate_with_langchain_docs(
documents,
test_size=10,
distributions={simple:0.5,reasoning:0.25,multi_context:0.25}
)
然后我们将生成的数据集保存，以备后用。 ds=testset.to_dataset()
ds.save_to_disk("./activity_testset")
生成的数据大概如下所示。 
ragas 在生成数据集上还可以配置问题的难易分布。理想的评估数据集应涵盖生产中遇到的各种类型的问题，包括不同难度级别的问题。大语言模型（LLMs）通常不擅长生成多样化的样本，因为它们倾向于遵循常见路径。ragas 受Evol-Instruct[2]等作品的启发，采用了一种进化生成范式，系统地从提供的文档集创建具有不同特征的问题，如推理、条件、多个上下文等。这种方法确保了对管道中各个组件性能的全面覆盖，从而实现更稳健的评估过程，原理如下图所示。 
但我要说的是，ragas 在生成数据集非常不完善，很难生成，全靠运气，经常报 Connection 错误，而 API 明明可以连接。另外一点是所使用的Prompt 都是英文，有几率生成一些英文问题，即使你的输入文档是中文的。虽然你可以通过 Prompt adapation 进行本地化，但 ragas 里对于 json 的处理非常简单，不会做任何解析增强，所以生成的东西也用不了，除非手工修改。 看了一些 ragas 代码，感觉写的不咋的，但他们的评估指标和思路是挺好的。生成测试集搞了我一周，魔改代码都没能解决一堆报错，搞得我一肚子火。今天发布了最新版本 v0.2.0，已经和上述代码不兼容了。还没空测评，不知道新版本是否有解决，希望给力点吧。
2. 开始评估上节已经提到生成数据集功能缺陷太多，所以这里为了演示，我们使用官方 Demo 中的数据集。 2.1 加载数据集fromdatasetsimportDataset,load_dataset
defload_amnesty_qa()->Dataset:
#loadingtheV2dataset
amnesty_qa=load_dataset("explodinggradients/amnesty_qa","english_v2")
print(amnesty_qa['eval'].column_names)
#['question','ground_truth','answer','contexts']
#amnesty_qa['eval']['contexts']
returnamnesty_qa["eval"]
dataset=load_amnesty_qa()
2.2 评估忠实性计算 Faithfulness 就是计算忠实性。首先将答案分拆为几个声明（简单理解为句子也行），然后判断每个句子是否可以从上下文 contexts 中推断出来，如果出现过则认为是忠实的。比如将答案拆分为 3 个 claims，然后从 context 中判断有几个可以推断出来，假设为 2，那么忠实性就是 2/3。它需要回答和上下文。 fromragas.metricsimportfaithfulness,answer_relevancy,context_precision,context_recall,context_entity_recall
fromragasimportevaluate
defmetric_faithfulness():
score=evaluate(dataset,metrics=[faithfulness],llm=generator_llm,embeddings=embeddings)
print(score.to_pandas())
metric_faithfulness()
评估忠实性如下表所示。 
2.3 评估答案相关性计算答案的相关性 Answer relevancy，它基于答案推测出多个问题，然后计算用户问题和推测出的问题的相关性，也就是嵌入的相似度，然后取平均值从而得出相关性。它也需要回答和问题。 defmetric_answer_relevancy():
score=evaluate(dataset,metrics=[answer_relevancy],llm=generator_llm,embeddings=embeddings)
print(score.to_pandas())
metric_answer_relevancy()
评估结果如下表所示。 
2.4 上下文精度计算上下文精度 Context Precision，即召回的 K 个 Chunk 中，到底多少是和问题、真实答案相关的。然后基于此计算一个精度的分数。它需要问题、基本事实和上下文。 defmetric_context_precision():
score=evaluate(dataset,metrics=[context_precision],llm=generator_llm,embeddings=embeddings)
print(score.to_pandas())
metric_context_precision()
评估结果如下表所示。 
2.5 上下文召回率计算上下文召回率 Context Recall，衡量检索到的上下文与作为基本事实的一致程度。从基本事实中，提取出 Claims，然后判断每一个 Claims 是否可以从检索出的上下文中推断出来，然后计算推断出的 claims 数量和总 claims 数量。它需要问题、基本事实、上下文。 defmetric_context_recall():
score=evaluate(dataset,metrics=[context_recall],llm=generator_llm,embeddings=embeddings)
print(score.to_pandas())
评估结果如下表所示。 
2.6 计算上下文实体召回率计算上下文中实体召回 Context Entities Recall，分别从 Context 和基本事实中提取出实体，然后从中找出实体的交集并和基本事实中的实体数量做比，得出一个实体召回率。它需要上下文和基本事实。 defmetric_context_entities_recall():
score=evaluate(dataset,metrics=[context_entity_recall],llm=generator_llm,embeddings=embeddings)
print(score.to_pandas())
评估结果如下表所示。 
3. 总结本文介绍了如何使用 ragas 生成测试集，介绍了多个常用的 RAG 评估指标。本文生成测试集部分代码基于 ragas v0.1 版本编写，具有较多问题根本无法使用，升级 v0.2.0 后出现代码兼容问题无法运行，后续等我更新吧。评估部分 v0.2.0 是兼容的，并且我在 v0.1 下评估会报错类似n=1, API Connection Error等问题，在升级后完美解决了，也没有出现指标 NaN 或者 0 的情况，推荐使用。 |
