day16/100
不要再往AI的知识库塞奇怪的东西了，什么样的知识适合作为RAG知识库？
昨天的文章讨论了知识库构建过程中的一些误区，而其中最重要的一点就是知识库的信息选取。
虽然说信息收集和数据清洗最终大多是由程序自动化完成的，但程序筛选的策略决定了最终的知识库到底是金矿还是垃圾场
很多时候，搭载了知识库的智能题仍然胡言乱语，问题往往不在于RAG技术的本身，在于错误的粮草——知识库的内容选错了，哪些知识才能真正发挥RAG的优势呢？
本文深入剖析，帮你识别真正适合进入RAG知识库的知识类型，助你打造精准、可靠、实用的智能问答系统。
首先 我们从RAG的大致技术原理出发：先根据语义建立一个向量数据库。然后用户提问的过程中 将提示词结构化为向量，然后在数据库中进行匹配 得到语意相似的材料
而向量数据库中录入的每个片段都是有大小限制的，不同的片段之间难以相互联系
因此我们可以得到第一个选筛选的标准：
1️⃣文档的片段本身要相对的独立，有足够清晰可靠的信息用于解答问题。如果材料逻辑链条过于复杂且位于不同的片段，有可能导致知识库在检索的过程中发生逻辑断裂 影响大模型的推理。
例如产品文档和规格、行业标准与技术、白皮书，这些都是事实型的知识，他们的单位较为独立，方便进行构建。
但如果你想通过一个数学结论，让知识库从高等数学书中挖掘出这个结论的整个推理逻辑链条，没有完善的元数据标记是做不到的。（当然也可以通过先推理拓展思路再分别检索知识库的方式，现在也有些AI检索有这个功能）
而向量数据库也提示了第二个筛选的标准：
2️⃣知识的表述必须是显性的、清晰的，因为知识库本身的处理带来的文本理解能力非常有限（际上也不能叫理解 就是看着形状相似的归类，所以像暗喻之类是很难正确归类的）
例如领域的专家经验、访谈记录、培训摘要，其中的经验内容和个性化表述很可能会阻碍知识库的理解，话题和逻辑的跳跃也会带来影响
例如像我写的这这种文章 就是重在让人便于理解，如果用来做知识库是不合适的