RAG之父：企业级 RAG 系统落地的实战经验

显示全部楼层

RAG 之父Douwe Kiela发表了一场演讲：RAG系统在企业中的落地实践，特别是和“AI代理”结合的应用。他分享一些自己走过的坑和总结出的经验。

💡 为什么企业AI很难落地？

现在大家都说AI是个大机会，甚至麦肯锡说能给全球经济带来4.4万亿美元的增值。但现实呢？很多企业投入了很多钱，却发现：

“效果呢？我们的AI投资到底带来了什么？”

实际上，只有25%的企业能真正从AI中获得价值。这就像是AI界的“莫拉克斯悖论”：

打败人类下棋很容易，
但让机器人扫地、自动驾驶却难得要命。

看似简单的事，AI做不好；
看似很难的事，它又能轻松搞定。

📌 真正的挑战：上下文问题

虽然语言模型（比如GPT）越来越厉害，会写代码、做数学题，但它们最难的是：

理解上下文
结合背景知识处理具体问题

而这，正是人类最擅长的。

🧠 企业要的不是“方便”，而是“变革”

AI确实能提升效率，但企业更想要的是：

“用AI真正改变业务。”

想达到这种“转型”，AI就必须能理解企业自身的复杂上下文。

🏗️ 我们的实践经验

1️⃣ 语言模型只是系统的20%

大家一出新模型就很兴奋，但实际项目里：

模型只是整个系统的一小部分，系统才是真正解决问题的关键。

普通模型 + 好系统 > 强模型 + 差系统

2️⃣ 通用AI很酷，但专业化才落地

别总想着“通用人工智能（AGI）”，真正落地的项目靠的是：

专业化的AI代理
为具体业务量身定制

3️⃣ 企业的数据虽乱，但很值钱

数据是企业真正的“护城河”，即使很脏：

也别想着“先清理再上AI”，而是“让AI能处理脏数据”。

4️⃣ Demo 很简单，上生产很难

试点项目很容易搞，但当CEO一拍桌子：

“我们3个月内用AI替代一半客服！”

你就傻眼了。

上线后才是真正的挑战：

千万级文档
成千用户
安全、合规要求高

5️⃣ 速度比完美更重要

不要等完美再上线，先做能跑起来的版本。

早点上生产线、早点拿真实反馈，才有机会不断优化。

6️⃣ 别让工程师忙琐事

像“分块策略怎么选”“提示词怎么调”这些事：

能自动化就自动化，让工程师做有价值的事。

7️⃣ AI系统要“好用”才行

很多企业上线了AI，结果没人用：

太复杂
没集成进流程
合规限制太多

所以：

设计要易用，最好能直接融入工作流。

8️⃣ 尽快给用户“哇”的一刻

一旦用户觉得：“哇，AI帮到我了！”
他们就离不开了。

有用户找到了7年前的隐藏资料，感动到不行。

这类“小胜利”才是AI推广的关键。

9️⃣ 不是只看准确率，而是看“错的时候怎么办”

AI永远不可能100%准确，但你要关注：

“那5%错的怎么处理？”

要能追溯来源（引用自哪个文档）
要有审计日志（特别是金融、医疗行业）

🔟 最大的教训：目标太小才是失败原因

很多项目不是失败在“做得太大”，而是：

“只让AI回答假期有几天、Wi-Fi密码是多少。”

这不是AI的真正价值。

我们正处在AI的“登月时代”：

不要只摘低垂的果子，要敢想敢做。

✅ 总结

上下文才是核心问题
系统 > 模型
专业化 > 通用
要敢跑、敢错、敢迭代
目标要够大

把这些问题当机会，而不是障碍
你就能在企业AI时代脱颖而出