文档切分
标题与标点切分：按章节标题、句号分句，保留上下文完整性（如法律条款需完整条款切分）
固定最大长度：限制片段长度（如512字符），避免信息过载，但需防止语义割裂（例：长描述被截断导致关键信息丢失）
混合策略：优先按标题切分，超长段落再按长度二次分割，平衡效率与语义完整性
重点风险：不恰当切分导致检索时无法定位核心信息，如医学指南被切碎后无法回答复合症状问题。
表格处理
匹配字段设置：定义关键列（如“产品ID”“价格”）作为检索锚点
整行召回：避免仅返回单元格，确保行列关系完整（例：电商订单需同时返回商品、数量、状态）
重点风险：字段匹配不全导致漏检（如用户查询“2024款手机价格”，但未将“型号”设为匹配字段）。
向量化技术
选用领域适配的嵌入模型（中文场景推荐m3e-base或ERNIE）
多模态数据需联合文本与图像向量（如商品图文问答）
检索策略
语义匹配解决表达多样性（如“如何退款” vs “退货流程”）；
关键词匹配保障术语精准（如药品名“阿司匹林”需精确命中）
∙语义+关键词混合检索
重点风险：单一依赖语义检索可能导致专业术语误匹配（如“苹果”在水果和苹果电子产品需结合语义）。
Query改写：
Prompt设计原则
反幻觉控制：强制模型基于检索片段生成，添加校验步骤（例：“若上下文未提及，回答‘无相关信息’”）
结构化输出：要求分点回答、标注数据来源（如“根据《用户手册第3章》：…”）
重点风险：模型过度自信生成错误内容（电商场景中虚构产品参数）
数据构成要求：
数据类型 | 占比 | 说明 |
|---|---|---|
高频问题 | 40% | 覆盖80%用户查询（如客服FAQ） |
长尾复杂问题 | 30% | 多条件组合、跨领域问题（例：“开通国际漫游后为何仍无法收发短信？”） |
对抗性样本 | 20% | 模糊表述、矛盾问题（例：“如何退款？但我没下单”） |
新知识问题 | 10% | 测试知识库更新能力（如政策变更后的社保计算） |
标注内容：
需包含三元组(query, 知识片段, 理想答案)
检索环节
指标类型 | 指标 | 目标值 | 监控意义 |
|---|---|---|---|
技术指标 | 知识库文档引用准确率（P） | ≥0.90 | 召回片段是否相关 |
知识库文档召回率（R） | ≥0.95 | 是否漏掉关键片段 | |
业务指标 | 引用点击率 | / | 用户是否认可片段价值（参考） |
Badcase | 片段定位错误率 | / | 切分/表格策略缺陷 |
生成环节
指标类型 | 指标 | 目标值 | 优化方向 |
|---|---|---|---|
技术指标 | 回答正确率（BLEU≥0.3） | ≥0.95 | 对比人工标准答案 |
召回率 | ≤0.95 | 反幻觉机制有效性 | |
业务指标 | 复制引用率 | ≥70% | 答案是否被用户信任使用 |
用户留存率 | 月环比+5% | 长期体验价值 | |
Badcase | 未复制的case&用户点踩反馈 | / | 答案不完整或未解决需求 |
知识库新鲜度
每周更新知识库，旧知识片段过期导致回答错误（如业务sop变更、产品信息未补充）
多轮对话连贯性
上下文丢失率需<3%（例：用户追问“上述方案的预算多少？”需关联前文）
领域适应性
跨领域术语冲突（如金融“杠杆” vs 物理“杠杆”）需实体对齐
RAG性能提升：
小模型+ RAG可使准确率提升27.9%（如Qwen2.5-14B）
思维链纠错：
监控蒸馏模型中的错误累积（Type C错误），采用反射机制校验中间步骤
个性化生成：
按用户身份调整回答复杂度（学生 vs 专家）
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |