ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.1em;color: rgb(63, 63, 63);visibility: visible;">
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1em;display: block;letter-spacing: 0.1em;color: rgb(63, 63, 63);">
ingFang SC";font-size: 14px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">知识图谱是一种强大的信息表示工具，通过实体（节点）及其之间的关系（边）来清晰呈现事物间的联系。相比之下，非结构化文本则显得杂乱无章。
ingFang SC";font-size: 14px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">传统上，从原始文本构建知识图谱并非易事，往往需要人工识别实体和关系，并编写提取规则，或者借助专门的机器学习模型完成任务。然而，大语言模型（LLM）的出现带来了转机。LLM 具备强大的灵活性，非常适合这项任务。它们能够读取自由格式的文本并输出结构化信息。正如本文将展示的，我们可以利用 LLM 构建自动化流程来创建知识图谱。
ingFang SC";font-size: 14px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">本文将介绍我创建的一个学习项目，目标是构建一个由 LLM 驱动的流程，将非结构化文本转化为交互式的知识图谱网页。该项目的所有代码都托管在 AI-Knowledge-Graph(https://github.com/robert-mcdermott/ai-knowledge-graph) 项目仓库中。
ingFang SC";font-size: 14px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">下面是一个简单的例子，展示了该项目的功能。当输入以下非结构化文本时：ai-knowledge-graph工具将使用您选择配置的 LLM 从上述文本中提取知识，并创建一个知识图谱 HTML 文件作为输出，其外观类似于下图：
工作原理概览： 1.文本分块 (Text Chunking) ：自动将大型文档分割成易于处理的小块。 2.知识抽取 (Knowledge Extraction) ：LLM 识别并提取每个文本块中的主谓宾三元组（事实）。 3.实体标准化 (Entity Standardization) ：将指向同一实体的不同表述（例如，“AI” 和 “人工智能”）统一为标准名称。 4.关系推理 (Relationship Inference) ：通过简单的逻辑规则（如传递性）和 LLM 推理来推断额外的关系，以连接孤立的子图。 5.交互式可视化 (Interactive Visualization) ：将生成的图谱在浏览器中以交互式网络图的形式展示。 工作原理详解 文本分块 考虑到 LLM 的上下文窗口有限（以及本地系统的内存限制），该工具会自动将文本拆分为若干片段（每个片段约含 500 个单词，并保留一定重叠部分以保持语义连贯）。每个文本块随后会连同一个指示 LLM 提取 SPO 三元组的提示一起发送给 LLM。
基于 LLM 的抽取 对于每个文本块，工具会要求 LLM 输出一个包含三元组及其来源块信息的 JSON 数组。示例如下：
[提示会鼓励 LLM 使用一致的实体命名、简短的关系短语（1-3 个词）并且不使用代词指代。提取出的所有三元组随后被合并以形成初始的原始知识图谱。
跨块实体标准化 为了避免相同实体因不同表述造成节点碎片化或重复，导致 节点碎片化或重复，该工具提供了一个实体标准化步骤。
1.基础规范化： 通过转换为小写、删除多余空格等方式消除明显的重复内容。 2.标准化（可选）： 启用此功能后，LLM 会将可能指向同一实体的不同表述进行聚类。例如，“New York”、“NYC” 和 “New York City” 会变成一个规范化的节点 “New York City”；“United States”、“U.S.” 和 “USA” 会变成另一个规范化的节点 “United States”。 这能提高图谱的一致性，因此通常建议启用。当然，如果您有特殊需求，例如需要未经任何修改的原始提取结果，也可以在配置文件中禁用它。
推理隐藏连接以丰富图谱 即使仔细阅读文本，也可能无法捕捉到所有隐含的关系。该工具通过两种方式解决这个问题：
基于规则的推理：
•传递关系： 如果事件 A 导致了事件 B 的发生，事件 B 又导致了事件 C 的发生，那么系统可以推断出事件 A 对事件 C 具有间接影响。 •词汇相似性： 利用词汇相似性，相似名称的实体间可能生成“相关”关系。 大模型辅助推理：
• 该工具可以提示 LLM 在原本不相连的子图之间建立连接。例如，如果一个集群是关于工业革命，另一个是关于人工智能，LLM 可能会推断出历史或概念上的联系（“人工智能是工业革命以来技术创新的延伸”）。 • 这些推断出的边会用不同的样式标记（例如，虚线），以区别于文本中明确陈述的事实。 这个推理步骤通常会增加大量新关系，大大减少孤立的子网络。如果您只想要纯粹从文本派生的图谱，可以在配置文件中禁用它。与块编号不同，推断出的关系会包含一个属性，用于指明该关系是推理得出的。该属性在可视化时会用于以虚线表示推断出的关系边，因此非常重要。示例结构：
[LLM 提示 总共会向 LLM 发送四个提示，首先是用于初始主谓宾（SPO）知识抽取的提示。
抽取系统提示 (Extraction System Prompt):
你是一个先进的人工智能系统，专门从事知识抽取和知识图谱生成。抽取用户提示 (Extraction User Prompt):
你的任务：阅读下面的文本（由三个反引号分隔），识别每个句子中所有的主语-谓语-宾语（S-P-O）关系。然后生成一个单一的 JSON 对象数组，每个对象代表一个三元组。请仔细遵循以下规则：这里没有列出另外三个提示，它们分别用于指导 LLM 进行标准化和关系推理。您可以在 src/knowledge_graph/prompts.py(https://github.com/robert-mcdermott/ai-knowledge-graph/blob/main/src/knowledge_graph/prompts.py) 源文件中查看（和调整）所有提示。
交互式图谱可视化 有了全面的 SPO 三元组列表（原始加推断的），该工具会使用 PyVis（Vis.js 的 Python 接口）生成一个交互式的 HTML 可视化文件。在浏览器中打开生成的文件，您将看到：
•颜色区分的社群： 同一个集群中的节点共享一种颜色。集群通常对应文本中的子主题或议题。 •节点大小反映重要性： 连接数多（或中心度高）的节点显得更大。 •边的样式： 实线表示从文本直接提取的关系，虚线表示推断得出的关系。 •交互式控件： 支持平移、缩放、拖拽节点，调整动态效果，切换亮/暗模式，以及筛选视图。 这使得以一种视觉上吸引人的方式探索关系变得容易。
程序流程 下面是程序的基本流程（代码仓库的 README.md 中有一个更详细的程序流程图）：
安装 AI-Knowledge-Graph 要在您的计算机上运行此项目，您需要满足以下要求：
要求：
• 一台运行 Windows、Linux 或 MacOS 的计算机 • 安装 Python (3.12 或更高版本) (推荐使用uv) • 能够访问 OpenAI 兼容的 API 端点 (例如 Ollama, LiteLLM, LM Studio, OpenAI 订阅等) 下载并安装依赖项：
将仓库克隆到您要运行它的系统上，并切换到该目录：
gitclonehttps://github.com/robert-mcdermott/ai-knowledge-graph.git使用uv安装依赖项：
uvsync 或者使用pip安装：
pipinstall-rrequirements.txt 配置 AI-Knowledge-Graph 编辑config.toml文件以适应您的情况。您需要在此配置 LLM 模型、端点（URL）、最大上下文窗口长度以及 LLM 的温度（temperature）参数，该参数控制模型生成文本的随机性。在下面的示例中，我使用的是通过 Ollama 在本地计算机上托管的 Google 开源 Gemma 3 模型。您还可以在这里调整文档分块大小和重叠量，以及是否启用实体标准化和关系推理来建立更多联系：
[llm]注意： 对于本地 LLM，您可以使用 Ollama 或 LM Studio 的 API 端点。要访问任何商业 LLM 提供商（如 AWS Bedrock、Azure、Anthropic、OpenAI 以及许多其他通过 LiteLLM 支持的服务），可以使用 LiteLLM。
创建知识图谱 现在您已经安装并配置好ai-knowledge-graph指向您的 LLM，可以开始创建您的第一个知识图谱了。准备一个您想要为其创建知识图谱的纯文本文档（目前仅支持文本文档）。
接下来，您需要在您的 {Windows/MacOS/Linux} 操作系统上，打开终端并执行generate-graph.py脚本。以下是该脚本的帮助信息：
usage: generate-graph.py [-h] [--test] [--config CONFIG] [--output OUTPUT] [--input INPUT] [--debug] [--no-standardize] [--no-inference]以下是使用当前目录中名为mydocument.txt的文本文档创建知识图谱的示例（如果您使用uv，请将 “python” 替换为 “uv run”）：
pythongenerate-graph.py--inputmydocument.txt--outputmydocument.html 以下是上述命令完整流程在控制台中显示的输出：
python generate-graph.py --input mydocument.txt --output mydocument.html现在，在您的网页浏览器中打开生成的 html 文件即可探索知识图谱。如果您只是阅读本文，想在不亲自创建的情况下查看并与该系统创建的知识图谱进行交互，请点击以下链接查看根据一份关于工业革命的文档创建的可视化示例：Industrial-Revolutions.html (https://robert-mcdermott.github.io/ai-knowledge-graph/)
您可以使用页面顶部的菜单展开控制面板，以调整布局物理效果、隐藏或显示节点/边的标签、查看图谱统计信息或选择/筛选节点和边。还有一个暗黑模式，如下例所示：
尝试不同设置非常重要 我的经验是，把重叠大小设为分块大小的 10% 左右比较合适。如果分块太小（比如 100 到 200 个词），虽然能提取到更多关系，但可能会漏掉一些跨块的重要连接。所以，还是得多试试不同的参数组合才能找到最佳配置！我相信通过调整提示也可以实现很多优化。
