|
在人工智能领域，知识图谱（KG）的构建一直是一个重要的研究方向，尤其是在需要知识密集型推理的检索增强生成（RAG）应用中。现有的知识图谱提取方法主要依赖于提示驱动的方法，这对于处理大规模语料库来说效率较低，并且容易导致信息损失。为了克服这些限制，研究者提出了SynthKG，一种基于大型语言模型（LLM）的多步骤、文档级无本体知识图谱合成工作流程。通过在合成的文档-KG对上微调较小的LLM，研究者将多步骤过程简化为单步KG生成方法，称为Distill-SynthKG，大大减少了LLM推理调用的次数。 
主要贡献SynthKG的引入：提出了一种新颖的LLM驱动工作流程，能够生成高质量、高覆盖率的文档级无本体知识图谱。 Distill-SynthKG的开发：利用SynthKG合成训练数据，并微调更小的LLM，从而简化了多步骤过程为单步推理，显著降低了对LLM调用的依赖。 新的KG评估数据集：通过重新利用现有的多跳问答数据集并引入新的评估指标，来建立知识图谱评估数据集。 新型图检索方法：引入了一种利用Distill-SynthKG生成的知识图谱的新型基于图的检索方法。 实验结果：在多个数据集上的实验表明，Distill-SynthKG不仅在知识图谱质量上超过了所有基准模型（包括高达八倍的模型），而且在检索和问答任务中也始终表现优越。
方法概述 SynthKG首先将输入文档分割为可管理的、语义完整的文本块。每个块经过去上下文化步骤处理，在该步骤中，实体消歧基于前一个上下文进行，使每个数据块成为一个独立的、自包含的单元。然后，提示LLM从每个文本块中提取实体、关系和相关命题，将它们组合形成最终的知识图谱。最后，微调较小的Distill-SynthKG LLM，使其能够在单个推理步骤中为给定文档生成知识图谱。 实验与结果研究者在多个数据集上对Distill-SynthKG进行了评估，结果显示其在知识图谱覆盖率、检索准确性和问答性能方面显著优于其他模型。特别是在多跳问答任务中，Distill-SynthKG展示了卓越的性能，证明了其在RAG任务中的应用潜力。 
结论 Distill-SynthKG通过将多步骤的知识图谱构建过程精炼为单步推理，不仅提升了效率，还保证了高质量的知识图谱生成。这一方法为大规模、无本体知识图谱构建提供了一种可扩展的解决方案，对RAG任务的应用具有重要意义。 通过公开发布SynthKG数据集和Distill-SynthKG模型，研究者希望支持进一步的研究和开发，推动知识图谱合成领域的进步。 | 
