RAG创始人关于RAG Agent的10个思考(下)

ingFang SC", "Hiragino Sans GB", STHeiti, "Microsoft YaHei", "Microsoft JhengHei", "Source Han Sans SC", "Noto Sans CJK SC", "Source Han Sans CN", "Noto Sans SC", "Source Han Sans TC", "Noto Sans CJK TC", "WenQuanYi Micro Hei", SimSun, sans-serif;">6.工程师在“无聊”的事情上花费大量时间：

ingFang SC", "Hiragino Sans GB", STHeiti, "Microsoft YaHei", "Microsoft JhengHei", "Source Han Sans SC", "Noto Sans CJK SC", "Source Han Sans CN", "Noto Sans SC", "Source Han Sans TC", "Noto Sans CJK TC", "WenQuanYi Micro Hei", SimSun, sans-serif;">工程师本应专注于构建流程、提升精度、扩展应用等创造业务价值的工作，但现实中却常常耗费时间在数据分块 (chunking) 策略、文本清洗、构建连接器、配置向量数据库、调整提示、管理基础设施等相对基础且耗时的工作上。应设法将这些工作自动化或平台化。

ingFang SC", "Hiragino Sans GB", STHeiti, "Microsoft YaHei", "Microsoft JhengHei", "Source Han Sans SC", "Noto Sans CJK SC", "Source Han Sans CN", "Noto Sans SC", "Source Han Sans TC", "Noto Sans CJK TC", "WenQuanYi Micro Hei", SimSun, sans-serif;font-weight: 700;line-height: 1.1;color: rgb(64, 64, 64);margin: 30px 0px 10px;font-size: 30px;caret-color: rgb(64, 64, 64);">实践分享

ingFang SC", "Hiragino Sans GB", STHeiti, "Microsoft YaHei", "Microsoft JhengHei", "Source Han Sans SC", "Noto Sans CJK SC", "Source Han Sans CN", "Noto Sans SC", "Source Han Sans TC", "Noto Sans CJK TC", "WenQuanYi Micro Hei", SimSun, sans-serif;" class="list-paddingleft-1">
• 有很多已存在的框架和工具可以帮助我们自动化这些工作。比如，使用 LangChain 等开源框架来处理数据分块和文本清洗。
• 使用Promptflow、LangSmith、LangGraph Studio等工具来进行大模型响应的跟踪与调试。
• 像Promptflow这类框架还可以用来进行模型效果的评估。

ingFang SC", "Hiragino Sans GB", STHeiti, "Microsoft YaHei", "Microsoft JhengHei", "Source Han Sans SC", "Noto Sans CJK SC", "Source Han Sans CN", "Noto Sans SC", "Source Han Sans TC", "Noto Sans CJK TC", "WenQuanYi Micro Hei", SimSun, sans-serif;">巧用已有的工具和框架可以大大减少工程师的常规工作量，让更多的时间和精力投入到更有价值的工作中。

ingFang SC", "Hiragino Sans GB", STHeiti, "Microsoft YaHei", "Microsoft JhengHei", "Source Han Sans SC", "Noto Sans CJK SC", "Source Han Sans CN", "Noto Sans SC", "Source Han Sans TC", "Noto Sans CJK TC", "WenQuanYi Micro Hei", SimSun, sans-serif;font-weight: 700;line-height: 1.1;color: rgb(64, 64, 64);margin: 30px 0px 10px;font-size: 30px;caret-color: rgb(64, 64, 64);">7.让 AI 易于消费：

ingFang SC", "Hiragino Sans GB", STHeiti, "Microsoft YaHei", "Microsoft JhengHei", "Source Han Sans SC", "Noto Sans CJK SC", "Source Han Sans CN", "Noto Sans SC", "Source Han Sans TC", "Noto Sans CJK TC", "WenQuanYi Micro Hei", SimSun, sans-serif;">即使 AI 系统已部署到生产环境，如果没有被用户方便地使用，也无法产生价值。很多时候系统使用率为零。关键在于将 AI 集成到用户现有的工作流中。企业数据 + AI + 集成 = 成功。

ingFang SC", "Hiragino Sans GB", STHeiti, "Microsoft YaHei", "Microsoft JhengHei", "Source Han Sans SC", "Noto Sans CJK SC", "Source Han Sans CN", "Noto Sans SC", "Source Han Sans TC", "Noto Sans CJK TC", "WenQuanYi Micro Hei", SimSun, sans-serif;font-weight: 700;line-height: 1.1;color: rgb(64, 64, 64);margin: 30px 0px 10px;font-size: 24px;caret-color: rgb(64, 64, 64);">实践分享

ingFang SC", "Hiragino Sans GB", STHeiti, "Microsoft YaHei", "Microsoft JhengHei", "Source Han Sans SC", "Noto Sans CJK SC", "Source Han Sans CN", "Noto Sans SC", "Source Han Sans TC", "Noto Sans CJK TC", "WenQuanYi Micro Hei", SimSun, sans-serif;">在没有找到一个惊艳的AI落地案例的之前，先考虑将AI融入到现有企业的工作流程中。或者只改进企业中的某一个小部分，但是需要确保它能被尽可能的用到。我们曾经有一个团队开发一个AI Sales bot，嵌入已有的企业网站，以网站的网页内容为知识库，回答浏览网站用户的所有问题。同时根据和用户对话的过程，判断时机推送相关展会的信息。促成最终的潜在销售可能。这类的AI功能容易被用户接受，且能在短时间内看到效果。

ingFang SC", "Hiragino Sans GB", STHeiti, "Microsoft YaHei", "Microsoft JhengHei", "Source Han Sans SC", "Noto Sans CJK SC", "Source Han Sans CN", "Noto Sans SC", "Source Han Sans TC", "Noto Sans CJK TC", "WenQuanYi Micro Hei", SimSun, sans-serif;font-weight: 700;line-height: 1.1;color: rgb(64, 64, 64);margin: 30px 0px 10px;font-size: 30px;caret-color: rgb(64, 64, 64);">8.让你的用户“惊叹”(Wow)：

要让 AI 应用产生粘性，需要尽快让用户体验到“惊艳”时刻。例如，帮助用户找到一个他们自己都不知道存在的、埋藏多年的重要文档并回答了关键问题。用户体验设计应围绕创造这种早期价值。

实践分享

还是上面的AI Sales bot的客户，在给他们的Boss演示Bot如何使用销售话术的过程中，他们惊讶的发现bot的回复中列举了一个数字，购买他们的某个产品能够节约20%的成本。而这个数字的依据是什么呢？当基于RAG的bot将答案以及关联文档一并返回的时候，他们看到了一个多年前的文档，这么好的一个销售点居然被他们忽略了。这个文档是一个多年前的客户反馈，里面提到过这个产品的使用案例和节约成本的数字。

9. 可观测性比准确率更重要：

达到 100% 准确率几乎不可能，90-95% 也许可以。但企业更关心的是那无法避免的 5-10% 的错误会带来什么影响以及如何处理。因此，可观测性，包括理解系统为何给出某个答案、提供溯源依据、建立审计追踪等，比单纯追求更高的准确率更重要，尤其是在受监管行业。

实践分享

• 不用追求100%的准确率，基于LLM的AI系统，用户目前对准确率都会有一个合理的预期，也不会将这类应用应用到对准确立很高的业务上。
• 使用Promptflow或者LangSmith这类Tracking 工具来追踪模型的输入和输出，帮助我们理解模型的行为。返回结果一定带有参考引用的文档信息，有理有据的给出答案，用户才能更加信任AI生成的内容。

10.要有雄心壮志：

很多 AI 项目失败往往不是因为目标太高，而是因为目标太低。不要满足于解决“401k 供应商是谁”这类简单问题，要敢于挑战能带来真正业务转型的难题。

实践分享

让你的AI有一个更高的远景目标，而不只是实现的那么一点点功能。

• 基于网站的AI Sales Bot，你可以理解他的主要功能和一个问答机器人几乎一样。但是如果我们定位这是一个数字员工，他能够和普通员工一样，目标是帮助销售团队提升业绩，帮助客户更好的了解产品。那么对于实现这样的目标，我们就有更多的想象空间了。例如：
• 分析客户的角色，从而主动引导客户的需求。
• 了解客户的需求，主动推送相关的产品信息。
• 基于对话内容分析用户的情绪，主动推送合适的促销活动。
• 给学校开发的AI私人教师，如果你带着为了构建一个“教育平权”的理念，来构建一个可以7*24小时在线的，专业教师，永远都会不厌其烦的解释给你听的AI教师。你会发现要实现这个目标，你要做的事情会比你想象的多很多。例如：
• 你需要考虑如何让AI教师能够理解学生的情绪，如何让他能够和学生进行更自然的对话。
• 你需要考虑如何让AI教师能够根据学生的学习进度和兴趣来调整教学内容。
• 你需要考虑如何让AI教师能够和其他教师进行协作，例如共享教学资源、交流教学经验等。
• 你需要考虑如何让AI教师能够和家长进行沟通，例如定期发送学生的学习报告、提供学习建议等。

总结与思考

麦肯锡最新的一项研究显示，AI企业应用能够带来4.4万亿美元的全球经济附加值。而只有1/4的企业从中获益。这也体现了AI应用现阶段的巨大不确定性，虽然个人消费应用能够带来很多有趣的应用，而且也有企业已经获得利润，但是企业应用由于其严谨性和复杂性，仍然处于探索阶段。