链载Ai

标题: 知识图谱焕发生机，激发大模型LLM深层次推理 —— 昨天，今天和明天 [打印本页]

作者: 链载Ai 时间: 1 小时前
标题: 知识图谱焕发生机，激发大模型LLM深层次推理 —— 昨天，今天和明天

“什么是创新？创新就是将原本不相关的知识连接到了一起”
（对原句语义的整理，可能不精确）
某闭门会

两个月前的一个夜晚，灯火通明的智谱AI总部组织了一场面向垂直行业的闭门会，行业学术专家和大模型解决方案专家一起探讨AI落地的前景，当讨论到“大模型”与“创新”的话题时，上述的发言让我记忆深刻。

现实确实如此：“汽车”和“可再生能源”的结合诞生了“新能源汽车”，“穿戴设备”和“传感器”的结合诞生了“电子手环”。

从微观上来看，大模型通过Beam Search让一个一个原本不相关的“字”，串联到了一起，形成一句人可以理解的话。

本质上都“连接”，一个宏观，一个微观。

也许它们本身就有“一定”的关系（汽车->汽油->非可再生能源->能源->可再生能源），只是以前没人把窗户纸捅破，那么第一个直接捅破的人，就叫“创新”。

知识图谱与人脑

让机器做类似人脑的思考、推理过程，通常会想到“知识图谱”，我把上边提到的新能源汽车的例子画一张图：

“汽车”和“汽油”大家经常放在一起说，大脑几乎不用思考，脱口而出，这是“快思考”，但是要想把“汽车”和“可再生能源”关联起来，就需要按照上边这个图走一遍，发明家可能需要3秒钟，普通人也许一辈子也没有连通过，这是“慢思考”。

然而“快”和“慢”是不断演变的，对于我们2024年的地球人来说，【汽车->可再生能源】也变得和【汽车->汽油】一样脱口而出了。

知识图谱 —— 危！？

上边推演的这个例子要想让机器实现，关键在于两个点：

1. 这张“图”如何建立？（图谱构建）

2. 建立好的“图”该怎么用？（图谱推理）

从前，有大量的研究就是在解决这两个问题，现在来看，好像都不太成立了，比如：

构建知识图谱，以前要做SPO三元组抽取（命名实体识别/关系抽取）、知识融合等等，但现在用一个Prompt就能替代所有的任务；
用图谱做推理，以前要考虑表示学习推理、符号逻辑推理，现在大模型吸收了全世界的知识，上边那张图也许直接内化成了模型参数，直接生成答案，如果“快思考”效果不好，让CoT来模拟人的“慢思考”，大幅提升效果。

知识图谱还有用吗？或者该思考：大模型时代下的知识图谱该如何重新定义？（留作未来一段时间的思考题）

老树发新芽

带着这个问题，开始一些零零散散的探索和发现：原来沿着CoT的路线，已经涌现出了很多基于知识图谱的推理方案。

比如GoT（Graph of Thoughts）、ToG（Think on Graph）、RoG（Reason on Graph）等等，以ToG中的一副图为例，对比了三种技术方案的效果：

来自《THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASONING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH》

图中发起的提问是：“目前堪培拉所在国家的多数党是什么？”

方案一：直接丢给大模型，它会说，我的知识停留在2021年9月份，那时候的多数党是自由党（显然是错误的）
方案二：传统借助知识图谱做KBQA的方案，大模型首先找到“堪培拉”所在的“国家”是“澳大利亚”，然后基于“澳大利亚”去找“多数党”的时候，发现不存在这条知识（not exit），然后就回复，抱歉，我没有足够的信息（显然不是没有足够信息，而是太懒了）
方案三：也就是作者提出的方案，即使没有明确的“显性关系”表达“多数党”，但是我们依然可以根据“澳大利亚->总理->安东尼->领导政党->工党”来推测出，多数党极有可能就是“工党”。

这种推理过程和人脑推理过程非常类似。

未来近在眼前

知识图谱回归了它的本质 —— 知识的关联。符号主义派的加持，让现阶段在某些推理问题上表现不够好的联结主义派的大模型，有了更强大的能力。

我预想，它会帮助人类打通无数原本无人连接过的且有高价值的“点”，让知识的发现和创新能力达到一个全新的高度。

引申的方向

以上都是在讲知识图谱，如果再抽象一些，来到“图”结构，会是更广阔的一篇领域。关于更广泛意义的“图”如何结合大模型产生更大的价值，先列出来下边这些研究，欢迎有兴趣的朋友一起交流：

A Survey of Graph Meets Large Language Model: Progress and Future Directions
Graph Meets LLMs: Towards Large Graph Models
GPT4Graph: Can Large Language Models Understand Graph StructuredData? An Empirical Evaluation and Benchmarking
GRAPHLLM: BOOSTING GRAPH REASONING ABILITY OF LARGE LANGUAGE MODEL
......（不一一列举了，附上论文的gitHub集合，https://github.com/XiaoxinHe/Awesome-Graph-LLM）

当然也有专门针对“知识图谱”与大模型结合的综述：《Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications》

来自《Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications》

除了学术方面，最近关注到LangChain发布了一套新的Agent架构 —— LangGraph（https://blog.langchain.dev/langgraph/），它将图结构应用在了Agent智能体的编排中，同时在Multi Agent方向给出了一份架构设计的答卷，对这方面感兴趣的朋友也欢迎交流。

欢迎光临链载Ai (https://www.lianzai.com/)