|

最近发现一个开源项目,可以用大模型轻松地对本地资料构建知识图谱。 
可视化的方式,清晰展示了资料中的核心概念,以及概念之间的关系。 知识图谱算是一种降维分析,把一堆文本内容凝聚在一张关系图中,能让你对整个资料有全局把握。了解某个概念(节点)对整个资料的重要性,理解看似不相关的概念之间的联系。 最牛逼的是可以实现图检索增强(GRAG),通过知识图谱改进检索,从而让知识库助手回答得更准。 微软最近爆火的开源项目 GraphRAG 就是这么回事。 
用大模型构建知识图谱总共分三步, - 对于每个文本块,使用 LLM 提取概念及其语义关系
资料分块用的是 LangChain,对目录下不同格式、多个文件进行分割,转成 DataFrame 格式数据。 用封装好的 df2Graph 类,调用大模型,将 DataFrame 中的文本片段转成图结构的数据。 参数 model 是使用的大模型名称,这里需要填本地 Ollama 中已经安装的模型。我们之前介绍过 Ollama ,可以直接在自己电脑上运行大模型,这样构建知识图谱不会产生额外费用。 |