|
知识库的问题大概跟外星人能否听到甚至听懂旅行者号上面的金唱片是一个问题。
AI是否能听懂我们想找什么？又如何感知我们的情绪，旅行者号的解决方案是给了操作说明，然后多种声音模式等。其实我们用RAG搞知识库也可以这么搞，精准的控制切片信息和给AI一个操作手册。总比叫外星人听懂地球语言（自己训练模型）要省事儿很多。
逻辑上来说，我们希望AI在工作中如实的向我们反馈信息，而知识库作为必要的验证过程，也有不可或缺的作用，但是想要它好好工作，也是需要有很多辅助工作的。
首先是RAG本身切片造成的知识断裂问题，这部分最好的解决方案就是把给知识库的文件，通过手工或者采用其他辅助手段进行精准清洗，最优是清洗成json格式这种有引导的机器可读语言，最差就是直接pdf给过去，中间word、md、txt这些差距不大。结合RAG切片的大小进行精准配置，可以保证最终的查找成果。
其次是通过提示词或者智能体对发起的对话进行约束和优化，转换成能够快速精准定位的机器语言，约束输出结果。
最后才是模型能力问题，解决了以上两个问题，目前市面上大多数模型调整精准后，通过以上两个方式进行知识库交流，效果都是ok的。
这里面最麻烦的其实第一部数据清洗，如果想偷懒，也可以做个智能体帮你清洗数据，这大概就是先造个轮子😂。然后选一个好用点的Embedding模型。 | 
