链载Ai

标题: 图谱驱动的智能：如何用Django实现GraphRAG的高效检索 [打印本页]

作者: 链载Ai 时间: 昨天 10:58
标题: 图谱驱动的智能：如何用Django实现GraphRAG的高效检索

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin: 4em auto 2em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">前言

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">前面一章讲述了构建知识图谱来提高基于RAG的应用程序的准确性，并且使用Neo4j和LangChain在RAG应用程序中构建和检索知识图谱信息。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">图形检索增强生成 (Graph RAG) 这种方法利用图形数据库的结构化特性，将数据组织为节点和关系，以增强检索信息的深度和上下文性。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">由于篇幅可能会比较长，这一篇知识点较多，我单独分成了两个小节

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.2em;font-weight: bold;display: table;margin: 4em auto 2em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">一、给定 Cypher 查询结果图表

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">Cypher是什么？可能很多小伙伴不太懂这个，一来就产生一个疑问，我这里简单描述一下。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">Cypher其实是Neo4j的图形查询语言，可让您从图形中检索数据。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">它就像是SQL语句，不过它是图形的SQL，但它受到SQL的启发，因此我们可以专注于怎么从图形中获取什么数据（而不是如何获取数据）。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">后面几章节我会详细对Cypher的语句进行详细说明。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">打开我们Jupyter（https://jupyter.org/try-jupyter/lab/index.html）或者Colab（https://colab.research.google.com/drive/），因为下面使用到了yfiles_jupyter_graphs它支持的环境就是 Jupyter 环境，VS Code或Google Colab环境：

%pipinstall--upgrade--quietlangchainlangchain-communitylangchain-openailangchain-experimentalneo4jwikipediatiktokenyfiles_jupyter_graphs

fromneo4jimportGraphDatabase
fromyfiles_jupyter_graphsimportGraphWidget

os.environ["NEO4J_URI"]="bolt://*********"
os.environ["NEO4J_USERNAME"]="ne*******"
os.environ["NEO4J_PASSWORD"]="de**********"
os.environ["OPENAI_API_KEY"]="sk-*********"

graph=Neo4jGraph()
#dire
ctlyshowthegraphresultingfromthegivenCypherquery
default_cypher="MATCH(s)-[r:!MENTIONS]->(t)RETURNs,r,tLIMIT50"

defshowGraphDetail(cypher:str=default_cypher):
#createaneo4jsessiontorunqueries
driver=GraphDatabase.driver(
uri=os.environ["NEO4J_URI"],
auth=(os.environ["NEO4J_USERNAME"],
os.environ["NEO4J_PASSWORD"]))
session=driver.session()
widget=GraphWidget(graph=session.run(cypher).graph())
widget.node_label_mapping='id'

returnwidget
showGraphDetail(default_cypher)

"MATCH (s)-[r:!MENTIONS]->(t) RETURN s,r,t LIMIT 50" 这就是一句我们的Cypher查询语句，它表示的意思是 "找出图数据库中所有通过非'MENTIONS'关系相连的节点对，返回这些节点和它们之间的关系，但最多只返回50组这样的结果。"

这个查询可以用来探索图中的各种关系，同时排除了"MENTIONS"这种特定的关系类型。

它对于了解图的结构和不同实体之间的连接方式很有用，尤其是当你想排除某种特定类型的关系时。点击运行，出现下面界面：

我们在这里可以看到之前保存到Neo4j的图数据。

二、混合检索

图生成后，我们将使用混合检索方法，将向量和关键字索引与RAG应用程序的图检索相结合。

在检索过程中，从用户提出问题开始，然后将问题定向到RAG检索器。

该检索器采用关键字和向量搜索来搜索非结构化文本数据，并将其与从知识图谱中收集的信息相结合。

由于Neo4j同时具有关键字索引和向量索引，因此我们可以使用单个数据库系统实现所有三个检索选项。

从这些来源收集的数据将输入 llm 大模型以生成并提供最终答案。

在我们做图混合检索所之前，我们先看一下图形检索器咋么识别输入中的相关实体，打开我们的视图文件testite/members/views.py，新建视图：

#实体类
fromlangchain_core.promptsimportChatPromptTemplate
fromlangchain_core.pydantic_v1importBaseModel,Field
fromtypingimportTuple,List,Optional
fromlangchain_community.graphsimportNeo4jGraph
fromlangchain_openaiimportChatOpenAI
fromlangchain_experimental.graph_transformersimportLLMGraphTransformer
classEntities(BaseModel):
"""Identifyinginformationaboutentities."""

namesist[str]=Field(
...,
description="Alltheperson,organization,orbusinessentitiesthat"
"appearinthetext",
)

deftestEntity(request):
llm=ChatOpenAI(temperature=0,model_name="gpt-4o-mini")
#构建提示角色
prompt=ChatPromptTemplate.from_messages(
[
(
"system",
"Youareextractingorganizationandpersonentitiesfromthetext.",
),
(
"human",
"Usethegivenformattoextractinformationfromthefollowing"
"input:{question}",
),
]
)

entity_chain=prompt|llm.with_structured_output(Entities)

res=entity_chain.invoke({"question":"Wherewasjackborn?"}).names
returnJsonResponse({'response':res})

然后天机路由：

path('test_entity/',views.testEntity,name='graphrag'),

浏览器访问http://127.0.0.1:8000/polls/test_entity/可以得到如下输出：

三、Django知识图谱检索方法构建

现在我们可以检测问题中的实体，让我们使用全文索引将它们映射到知识图谱。

首先，我们需要定义一个全文索引和一个函数，该函数将生成允许一些拼写错误的全文查询。

该函数依旧加到视图文件中：

defgenerate_full_text_query(input:str)->str:
"""
Generateafull-textsearchqueryforagiveninputstring.

Thisfunctionconstructsaquerystringsuitableforafull-textsearch.
Itprocessestheinputstringbysplittingitintowordsandappendinga
similaritythreshold(~2changedcharacters)toeachword,thencombines
themusingtheANDoperator.Usefulformappingentitiesfromuserquestions
todatabasevalues,andallowsforsomemisspelings.
"""
full_text_query=""
words=[elforelinremove_lucene_chars(input).split()ifel]
forwordinwords[:-1]:
full_text_query+=f"{word}~2AND"
full_text_query+=f"{words[-1]}~2"
returnfull_text_query.strip()

#Fulltextindexquery
defstructured_retriever(question:str)->str:
"""
Collectstheneighborhoodofentitiesmentioned
inthequestion
"""
result=""
entities=entity_chain.invoke({"question":question})
forentityinentities.names:
response=graph.query(
"""CALLdb.index.fulltext.queryNodes('entity',$query,{limit:2})
YIELDnode,score
CALL{
WITHnode
MATCH(node)-[r:!MENTIONS]->(neighbor)
RETURNnode.id+'-'+type(r)+'->'+neighbor.idASoutput
UNIONALL
WITHnode
MATCH(node)<-[r:!MENTIONS]-(neighbor)
RETURNneighbor.id+'-'+type(r)+'->'+node.idASoutput
}
RETURNoutputLIMIT50
""",
{"query":generate_full_text_query(entity)},
)
result+="\n".join([el['output']forelinresponse])
returnresult

structural_retriever函数首先检测用户问题中的实体。接下来，它迭代检测到的实体并使用Cypher模板来检索相关节点的邻域。我们可以来测试一下：

print(structured_retriever("WhoisDursleyI?"))

得到下列答案：

我们在开始时提到的，我们将结合非结构化和图形检索器来创建将传递给LLM的最终上下文。

defretriever(question:str):
print(f"Searchquery:{question}")
structured_data=structured_retriever(question)
unstructured_data=[el.page_contentforelinvector_index.similarity_search(question)]
final_data=f"""Structureddata:
{structured_data}
Unstructureddata:
{"#Document".join(unstructured_data)}
"""
returnfinal_data

定义RAG Chain，前面我们基本实现了RAG的检索组件。接下来，我将介绍以对话的方式跟进问题的查询：

_template="""Giventhefollowingconversationandafollowupquestion,rephrasethefollowupquestiontobeastandalonequestion,
initsoriginallanguage.
ChatHistory:
{chat_history}
FollowUpInput:{question}
Standalonequestion:"""#noqa:E501
CONDENSE_QUESTION_PROMPT=PromptTemplate.from_template(_template)

def_format_chat_history(chat_historyist[Tuple[str,str]])->List:
buffer=[]
forhuman,aiinchat_history:
buffer.append(HumanMessage(content=human))
buffer.append(AIMessage(content=ai))
returnbuffer

_search_query=RunnableBranch(
#Ifinputincludeschat_history,wecondenseitwiththefollow-upquestion
(
RunnableLambda(lambdax:bool(x.get("chat_history"))).with_config(
run_name="HasChatHistoryCheck"
),#Condensefollow-upquestionandchatintoastandalone_question
RunnablePassthrough.assign(
chat_history=lambdax:_format_chat_history(x["chat_history"])
)
|CONDENSE_QUESTION_PROMPT
|ChatOpenAI(temperature=0)
|StrOutputParser(),
),
#Else,wehavenochathistory,sojustpassthroughthequestion
RunnableLambda(lambdax:x["question"]),
)

接下来，我们引入一个提示，利用集成混合检索器提供的上下文来生成响应，从而完成RAG 链的实现。

提示模板如下：

template="""Answerthequestionbasedonlyonthefollowingcontext:
{context}

Question:{question}
Usenaturallanguageandbeconcise.
Answer:"""
prompt=ChatPromptTemplate.from_template(template)

chain=(
RunnableParallel(
{
"context":_search_query|retriever,
"question":RunnablePassthrough(),
}
)
|prompt
|llm
|StrOutputParser()
)

最后，我们通过下面两种方式测试图形混合检索，第二种我带入了第一种的会话历史，定义一个视图方法：

defhybridRetrievalRag(request):
res=chain.invoke({"question":"WhichhousedidDursleyIbelongto?"})
#或者
res=chain.invoke(
{
"question":"他出身在哪里?",
"chat_history":[
("WhichhousedidDursleyIbelongto?","Mr.Dursleybelongedtonumberfour,PrivetDrive")],
}
)
returnJsonResponse({'response':res})

然后老样子，添加我们的路由：

path('hybrid_retrieval/',views.hybridRetrievalRag,name='graphrag'),

浏览器访问 http://127.0.0.1:8000/polls/hybrid_retrieval/ 可以得到如下输出：

成功得到自己的答案，第二个为啥没有检索到，由于我们在上一篇的段落并没有讲述Mr. Dursley出身在哪里，在图谱中也没检索得到这个问题的关系。

四、总结

这一章我们讲述可怎么结合Django+langchian+Neo4j构建GraphRag，并完成检索，测试了它的准确性，也看的到它们结合使用的效率以及性能，这种通过知识图谱的检索形式必将成为未来RAG不可缺少的一部分。

整个篇章下来从微软的GraphRag到Neo4j图库存储，最后做混合检索，小伙伴是不是会疑惑，好像并没有完全的联系起来，因为neo4j的图谱是自己储存的，并没有储存GraphRag生成的数据。

对的，还缺少一步怎么把存GraphRag生成的数据导入到Neo4j，下一节我们将讲述，Neo4j存储GraphRag图谱文件，中间涉及到转化。

欢迎光临链载Ai (https://www.lianzai.com/)