ai问答助手类产品策略与指标

显示全部楼层

本文适用与现在市面上绝大多数的ai问答助手类产品，以一个基于rag 的初级客服问答助手举例（暂不涉及taskflow/Agent调用），包括核心的环节和评测需要关注的指标。

由于不少公司的业务sop、产品介绍会经常修改，在技术选型上rag是这类产品的主流，当然也有部分公司行业*业务垂直在业务sop和产品知识长期不变，且需要特点的格式输出，可能会采用微调。

ingFang SC", -apple-system, "system-ui", "Segoe UI", Roboto, Ubuntu, "Helvetica Neue", Helvetica, Arial, "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif;font-optical-sizing: inherit;font-size-adjust: inherit;font-kerning: inherit;font-feature-settings: inherit;font-variation-settings: inherit;vertical-align: baseline;word-break: break-word;overflow-wrap: break-word;color: rgb(0, 0, 0);letter-spacing: -0.16px;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">以下基于AI问答助手系统的核心环节、关键设计考量及评测体系构建方案，结合技术实现与产品化需求综合整理：

ingFang SC", -apple-system, "system-ui", "Segoe UI", Roboto, Ubuntu, "Helvetica Neue", Helvetica, Arial, "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif;font-optical-sizing: inherit;font-size-adjust: inherit;font-kerning: inherit;font-feature-settings: inherit;font-variation-settings: inherit;vertical-align: baseline;color: rgba(0, 0, 0, 0.9);letter-spacing: -0.16px;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">一、核心环节设计与重点考量

ingFang SC", -apple-system, "system-ui", "Segoe UI", Roboto, Ubuntu, "Helvetica Neue", Helvetica, Arial, "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif;font-optical-sizing: inherit;font-size-adjust: inherit;font-kerning: inherit;font-feature-settings: inherit;font-variation-settings: inherit;vertical-align: baseline;color: rgba(0, 0, 0, 0.9);letter-spacing: -0.16px;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">1. 知识切分策略（文档/表格）

∙
文档切分

∙
标题与标点切分：按章节标题、句号分句，保留上下文完整性（如法律条款需完整条款切分）

∙
固定最大长度：限制片段长度（如512字符），避免信息过载，但需防止语义割裂（例：长描述被截断导致关键信息丢失）

∙
混合策略：优先按标题切分，超长段落再按长度二次分割，平衡效率与语义完整性

重点风险：不恰当切分导致检索时无法定位核心信息，如医学指南被切碎后无法回答复合症状问题。

∙
表格处理

∙
匹配字段设置：定义关键列（如“产品ID”“价格”）作为检索锚点
∙
整行召回：避免仅返回单元格，确保行列关系完整（例：电商订单需同时返回商品、数量、状态）

重点风险：字段匹配不全导致漏检（如用户查询“2024款手机价格”，但未将“型号”设为匹配字段）。

ingFang SC", -apple-system, "system-ui", "Segoe UI", Roboto, Ubuntu, "Helvetica Neue", Helvetica, Arial, "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif;font-optical-sizing: inherit;font-size-adjust: inherit;font-kerning: inherit;font-feature-settings: inherit;font-variation-settings: inherit;vertical-align: baseline;color: rgba(0, 0, 0, 0.9);letter-spacing: -0.16px;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">2. 知识向量化与检索

∙
向量化技术

∙
选用领域适配的嵌入模型（中文场景推荐m3e-base或ERNIE）
∙
多模态数据需联合文本与图像向量（如商品图文问答）

∙
检索策略

∙
语义匹配解决表达多样性（如“如何退款” vs “退货流程”）；
∙
关键词匹配保障术语精准（如药品名“阿司匹林”需精确命中）

∙语义+关键词混合检索

重点风险：单一依赖语义检索可能导致专业术语误匹配（如“苹果”在水果和苹果电子产品需结合语义）。

∙
Query改写：

ingFang SC", -apple-system, "system-ui", "Segoe UI", Roboto, Ubuntu, "Helvetica Neue", Helvetica, Arial, "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif;font-optical-sizing: inherit;font-size-adjust: inherit;font-kerning: inherit;font-feature-settings: inherit;font-variation-settings: inherit;vertical-align: baseline;color: rgba(0, 0, 0, 0.9);letter-spacing: -0.16px;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">3. 生成与提示工程

∙
Prompt设计原则

∙
反幻觉控制：强制模型基于检索片段生成，添加校验步骤（例：“若上下文未提及，回答‘无相关信息’”）

∙
结构化输出：要求分点回答、标注数据来源（如“根据《用户手册第3章》：…”）

重点风险：模型过度自信生成错误内容（电商场景中虚构产品参数）

ingFang SC", -apple-system, "system-ui", "Segoe UI", Roboto, Ubuntu, "Helvetica Neue", Helvetica, Arial, "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif;font-optical-sizing: inherit;font-size-adjust: inherit;font-kerning: inherit;font-feature-settings: inherit;font-variation-settings: inherit;vertical-align: baseline;color: rgba(0, 0, 0, 0.9);letter-spacing: -0.16px;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">二、评测体系构建

ingFang SC", -apple-system, "system-ui", "Segoe UI", Roboto, Ubuntu, "Helvetica Neue", Helvetica, Arial, "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", "Source Han Sans CN", sans-serif;font-optical-sizing: inherit;font-size-adjust: inherit;font-kerning: inherit;font-feature-settings: inherit;font-variation-settings: inherit;vertical-align: baseline;color: rgba(0, 0, 0, 0.9);letter-spacing: -0.16px;orphans: 2;text-align: start;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;background-color: rgb(255, 255, 255);text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;">1. 评测集设计（训练集:测试集 = 7:3）

∙

数据构成要求：

数据类型	占比	说明
高频问题	40%	覆盖80%用户查询（如客服FAQ）
长尾复杂问题	30%	多条件组合、跨领域问题（例：“开通国际漫游后为何仍无法收发短信？”）
对抗性样本	20%	模糊表述、矛盾问题（例：“如何退款？但我没下单”）
新知识问题	10%	测试知识库更新能力（如政策变更后的社保计算）

∙
标注内容：
需包含三元组(query, 知识片段, 理想答案)

2. 评测指标与监控

∙

检索环节

指标类型	指标	目标值	监控意义
技术指标	知识库文档引用准确率（P）	≥0.90	召回片段是否相关
	知识库文档召回率（R）	≥0.95	是否漏掉关键片段
业务指标	引用点击率	/	用户是否认可片段价值（参考）
Badcase	片段定位错误率	/	切分/表格策略缺陷

∙

生成环节

指标类型	指标	目标值	优化方向
技术指标	回答正确率（BLEU≥0.3）	≥0.95	对比人工标准答案
	召回率	≤0.95	反幻觉机制有效性
业务指标	复制引用率	≥70%	答案是否被用户信任使用
	用户留存率	月环比+5%	长期体验价值
Badcase	未复制的case&用户点踩反馈	/	答案不完整或未解决需求

三、影响产品效果的关键因素

1.
知识库新鲜度

∙
每周更新知识库，旧知识片段过期导致回答错误（如业务sop变更、产品信息未补充）

2.
多轮对话连贯性

∙
上下文丢失率需<3%（例：用户追问“上述方案的预算多少？”需关联前文）

3.
领域适应性

∙
跨领域术语冲突（如金融“杠杆” vs 物理“杠杆”）需实体对齐

四、效果优化方向

∙
RAG性能提升：
小模型+ RAG可使准确率提升27.9%（如Qwen2.5-14B）
∙
思维链纠错：
监控蒸馏模型中的错误累积（Type C错误），采用反射机制校验中间步骤
∙
个性化生成：
按用户身份调整回答复杂度（学生 vs 专家）