在当今AI时代,检索增强生成(RAG)已成为提升大语言模型回答质量的关键技术。本文将探讨如何结合知识图谱和向量数据库构建更智能的图RAG系统,让AI回答更准确、更可靠。
图RAG是什么?为什么需要它?
想象一下,传统RAG就像是一个勤奋但视野有限的图书管理员,只能根据关键词匹配找到相关书籍。而图RAG则像是一位博学多才的专家,不仅知道每本书的内容,还了解它们之间错综复杂的关联。
传统RAG虽然能从海量文档中检索相关片段,但它就像戴着眼罩看世界—看到了内容,却看不到内容间的联系。图RAG通过引入知识图谱这把"魔法钥匙",打开了数据关系的大门,让AI不仅理解"是什么",还能理解"为什么"和"怎么样",从而提供更全面、更深入的回答。
目前主要有三种实现图RAG的方式:
一是基于向量的检索,将知识图谱向量化存储在向量数据库中,通过相似度匹配检索。二是相关实体提示查询检索使用LLM将自然语言转换为SPARQL或Cypher查询语句,直接查询知识图谱。 最后就是二者结合的混合方法,结合两者优势,先用向量搜索初步检索,再用知识图谱进行筛选优化。
实验比较:三种方法的优劣
我们以电子商务产品推荐系统为例,对比三种方法在语义搜索、相似度计算和RAG方面的表现。
方法一:向量数据库检索
首先,我们将产品描述和用户评论向量化存入Milvus向量数据库: #定义数据模式collection_name="products"dim=1536#OpenAIembedding维度#创建集合collection=Collection(name=collection_name)collection.create_field(FieldSchema("id",DataType.INT64,is_primary=True))collection.create_field(FieldSchema("title",DataType.VARCHAR,max_length=200))collection.create_field(FieldSchema("description",DataType.VARCHAR,max_length=2000))collection.create_field(FieldSchema("embedding",DataType.FLOAT_VECTOR,dim=dim))#写入数据withcollection:forindex,rowindf.iterrows():embedding=get_embedding(row.title+""+row.description)collection.insert([[index],[row.title],[row.description],[embedding]])
语义搜索测试:搜索"轻便防水运动鞋"时,返回相关产品:
这里向量数据库展现了良好的语义理解能力,能找到功能相关的产品,即 使它们的描述用词不完全一致。 当用户询问"推荐适合雨天跑步的鞋子"时,系统检索出相关产品并生成建议: 以下是几款适合雨天跑步的鞋子推荐:-防水透气跑步鞋XYZ采用特殊橡胶外底,提供优异抓地力-全天候运动鞋ABC配备防泼水面料,轻量设计适合长跑-专业越野跑鞋DEF具有排水设计,即使踩水也能快速干燥
然而,我们发现一个问题:向量数据库可能会返回视觉上相似但功能不匹配的产品(如时尚休闲鞋),这会导致"上下文污染",使LLM生成的推荐不够精准。
方法二:知识图谱检索
接下来,我们将同样的数据构建成知识图谱: #创建实体和关系g.add((product_uri,RDF.type,Product))g.add((product_uri,name,Literal(row['title'])))g.add((product_uri,description,Literal(row['description'])))#添加产品属性和分类关系forfeatureinfeatures:feature_uri=create_valid_uri("http://example.org/feature",feature)g.add((feature_uri,RDF.type,Feature))g.add((product_uri,hasFeature,feature_uri))
语义搜索测试:我们不仅搜索"防水"标签,还利用产品本体的层级关系,同时搜索相关概念如"防泼水"和"快干":
#获取防水的相关概念related_concepts=get_all_related_concepts("WaterProof",depth=2)#将所有概念转为URI进行查询feature_terms=[convert_to_feature_uri(term)forterminflat_list]
结果返回: 《Gore-Tex专业跑鞋》(标签:防泼水、透气、专业跑步)知识图谱的优势在于结果可解释性强,我们知道每个产品为什么被选中。
方法三:混合方法
最后,我们结合两种方法的优势: 将产品描述、评论和特性标签一起向量化:#创建包含产品特性的向量表示collection=Collection(name="products_with_features")collection.create_field(FieldSchema("id",DataType.INT64,is_primary=True))collection.create_field(FieldSchema("title",DataType.VARCHAR,max_length=200))collection.create_field(FieldSchema("description",DataType.VARCHAR,max_length=2000))collection.create_field(FieldSchema("features",DataType.VARCHAR,max_length=500))collection.create_field(FieldSchema("product_uri",DataType.VARCHAR,max_length=200))collection.create_field(FieldSchema("embedding",DataType.FLOAT_VECTOR,dim=dim))先用向量搜索获取初步结果:#搜索适合雨天跑步的鞋子search_params={"metric_type":"COSINE","params":{"nprobe":10}}results=collection.search([get_embedding("适合雨天跑步的鞋子")],"embedding",search_params,limit=20,output_fields=["title","description","features","product_uri"])再用知识图谱筛选和排序:#筛选出真正具备防水和跑步功能的产品query="""SELECT?product?title?descriptionWHERE{?producthasFeature?feature1.?producthasFeature?feature2.?productname?title.?productdescription?description.FILTER(?productIN(%s)&&?feature1IN(%s)&&?feature2IN(%s))}"""
这种混合方法解决了上下文污染问题,最终返回的都是真正适合雨天跑步的专业鞋款:
结论与实践建议
从上面的对比,我们可以看到,向量数据库优势是部署简单快速,Milvus提供高性能向量检索,特别适合大规模产品库。缺点是结果不可解释,且存在上下文污染风险。
知识图谱优势,是结果高度可控和可解释,可以精确过滤无关内容。缺点是需要构建和维护知识图谱,查询编写复杂。
而对于混合方法,则利用Milvus的高效检索和知识图谱的精确性,既保证了检索速度,又提高了推荐质量。在实际应用推荐上,比如做内容推荐,同时考虑主题相似性和内容关联性,避免推荐表面相似但实质不相关的内容,又或者对于客户服务,确保回答不仅相关,还能考虑到产品间的兼容性和搭配关系。图RAG不仅是技术的组合,更是提升AI系统智能程度的飞跃。通过Milvus的高效向量检索和知识图谱的关系理解,我们的AI不再是简单的"关键词匹配机器",而是真正理解用户需求的"智能顾问"。 ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.544px;orphans: 2;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;background-color: rgb(255, 255, 255);text-align: center;">写在最后
2025年的今天,AI创新已经喷井,几乎每天都有新的技术出现。作为亲历三次AI浪潮的技术人,我坚信AI不是替代人类,而是让我们从重复工作中解放出来,专注于更有创造性的事情,关注我们公众号口袋大数据,一起探索大模型落地的无限可能!ingFang SC", system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: 0.544px;orphans: 2;text-align: justify;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;background-color: rgb(255, 255, 255);">
|