想象一下,传统RAG就像是一个勤奋但视野有限的图书管理员,只能根据关键词匹配找到相关书籍。而图RAG则像是一位博学多才的专家,不仅知道每本书的内容,还了解它们之间错综复杂的关联。
传统RAG虽然能从海量文档中检索相关片段,但它就像戴着眼罩看世界—看到了内容,却看不到内容间的联系。图RAG通过引入知识图谱这把"魔法钥匙",打开了数据关系的大门,让AI不仅理解"是什么",还能理解"为什么"和"怎么样",从而提供更全面、更深入的回答。
目前主要有三种实现图RAG的方式:
我们以电子商务产品推荐系统为例,对比三种方法在语义搜索、相似度计算和RAG方面的表现。
首先,我们将产品描述和用户评论向量化存入Milvus向量数据库:
#定义数据模式collection_name="products"dim=1536#OpenAIembedding维度#创建集合collection=Collection(name=collection_name)collection.create_field(FieldSchema("id",DataType.INT64,is_primary=True))collection.create_field(FieldSchema("title",DataType.VARCHAR,max_length=200))collection.create_field(FieldSchema("description",DataType.VARCHAR,max_length=2000))collection.create_field(FieldSchema("embedding",DataType.FLOAT_VECTOR,dim=dim))#写入数据withcollection:forindex,rowindf.iterrows():embedding=get_embedding(row.title+""+row.description)collection.insert([[index],[row.title],[row.description],[embedding]])语义搜索测试:搜索"轻便防水运动鞋"时,返回相关产品:
这里向量数据库展现了良好的语义理解能力,能找到功能相关的产品,即
使它们的描述用词不完全一致。
当用户询问"推荐适合雨天跑步的鞋子"时,系统检索出相关产品并生成建议:
以下是几款适合雨天跑步的鞋子推荐:-防水透气跑步鞋XYZ采用特殊橡胶外底,提供优异抓地力-全天候运动鞋ABC配备防泼水面料,轻量设计适合长跑-专业越野跑鞋DEF具有排水设计,即使踩水也能快速干燥
然而,我们发现一个问题:向量数据库可能会返回视觉上相似但功能不匹配的产品(如时尚休闲鞋),这会导致"上下文污染",使LLM生成的推荐不够精准。
接下来,我们将同样的数据构建成知识图谱:
#创建实体和关系g.add((product_uri,RDF.type,Product))g.add((product_uri,name,Literal(row['title'])))g.add((product_uri,description,Literal(row['description'])))#添加产品属性和分类关系forfeatureinfeatures:feature_uri=create_valid_uri("http://example.org/feature",feature)g.add((feature_uri,RDF.type,Feature))g.add((product_uri,hasFeature,feature_uri))语义搜索测试:我们不仅搜索"防水"标签,还利用产品本体的层级关系,同时搜索相关概念如"防泼水"和"快干":
#获取防水的相关概念related_concepts=get_all_related_concepts("WaterProof",depth=2)#将所有概念转为URI进行查询feature_terms=[convert_to_feature_uri(term)forterminflat_list]结果返回:
知识图谱的优势在于结果可解释性强,我们知道每个产品为什么被选中。
最后,我们结合两种方法的优势:
将产品描述、评论和特性标签一起向量化:#创建包含产品特性的向量表示collection=Collection(name="products_with_features")collection.create_field(FieldSchema("id",DataType.INT64,is_primary=True))collection.create_field(FieldSchema("title",DataType.VARCHAR,max_length=200))collection.create_field(FieldSchema("description",DataType.VARCHAR,max_length=2000))collection.create_field(FieldSchema("features",DataType.VARCHAR,max_length=500))collection.create_field(FieldSchema("product_uri",DataType.VARCHAR,max_length=200))collection.create_field(FieldSchema("embedding",DataType.FLOAT_VECTOR,dim=dim))先用向量搜索获取初步结果:#搜索适合雨天跑步的鞋子search_params={"metric_type":"COSINE","params":{"nprobe":10}}results=collection.search([get_embedding("适合雨天跑步的鞋子")],"embedding",search_params,limit=20,output_fields=["title","description","features","product_uri"])再用知识图谱筛选和排序:#筛选出真正具备防水和跑步功能的产品query="""SELECT?product?title?descriptionWHERE{?producthasFeature?feature1.?producthasFeature?feature2.?productname?title.?productdescription?description.FILTER(?productIN(%s)&&?feature1IN(%s)&&?feature2IN(%s))}"""这种混合方法解决了上下文污染问题,最终返回的都是真正适合雨天跑步的专业鞋款:
图RAG不仅是技术的组合,更是提升AI系统智能程度的飞跃。通过Milvus的高效向量检索和知识图谱的关系理解,我们的AI不再是简单的"关键词匹配机器",而是真正理解用户需求的"智能顾问"。
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |