动手实现GraphRAG，检索效果大幅提升

显示全部楼层

检索增强生成（RAG）技术及其进阶版本GraphRAG，通过设置环境和使用Ollama实现应用。1 理解检索增强生成（RAG）

检索增强生成（RAG）技术通过融合检索得到的文档和用户输入的查询，为语言模型注入了额外的上下文信息。这种结合不仅丰富了模型的知识库，还提升了其回答的准确性和相关性。

例如，当用户提出涉及特定个人信息或商业数据的问题时，RAG能够从预设的数据源中提取关键信息，辅助模型给出更加精准的答复。

简而言之，RAG技术就像是给语言模型配备了一个智能的背景知识库，使其在面对复杂问题时，能够做出更加明智的回应。

2 GraphRAG：通过图形结构增强上下文

GraphRAG技术在传统RAG的基础上更进一步，通过构建信息的图形网络，实现了对数据的深度理解和应用。这不仅仅是简单地检索相关文档，更重要的是能够洞察文档中实体间的复杂联系。

举个例子，假设数据集中包含了纽约、洛杉矶和芝加哥等城市的信息。GraphRAG不仅能够检索到这些城市的相关资料，还能识别并利用它们之间的各种关系，比如纽约与洛杉矶之间的贸易伙伴关系，或是洛杉矶与芝加哥之间的文化交流项目。

这样的技术使GraphRAG在处理信息时能够展现出更为丰富的洞察力和更深层次的分析能力。

3 设置环境

源码地址：

https://github.com/aniket-work/why_graphRAG_such_game_changer

创建虚拟环境：

python-mvenvwhy_graphRAG_such_game_changer

激活环境：

why_graphRAG_such_game_changer\Scripts\activate(Windows)

sourcewhy_graphRAG_such_game_changer/bin/activate(Unix/macOS

安装依赖项：

cdpath/to/your/project
pipinstall-rrequirements.txt

使用Ollama拉取必要的模型：

ollamapullmistral
ollamapullnomic-embed-text

安装Ollama：

访问Ollama官方网站：https://ollama.ai/
下载适合的操作系统的版本（Windows、macOS或Linux）。
按照操作系统提供的安装说明进行操作。
安装完成后，打开终端或命令提示符。
通过运行以下命令来验证安装：

ollama--version

初始化和使用GraphRAG：

python-mgraphrag.index--init--rootragtest

下载数据

你可以下载任何你喜欢的数据，已经将一个小型的、基于场景的、面向关系的故事情节检查并放入了“input”文件夹中。

4 初始化过程

运行命令python -m graphrag.index --init --root ragtest初始化GraphRAG时，以下一系列操作将会自动进行：

创建配置文件：

.env：此文件包含运行GraphRAG管道所需的环境变量。它通常包括用于OpenAI API或Azure OpenAI端点的API密钥。例如：
```
GRAPHRAG_API_KEY=<API_KEY>
```
settings.yaml：此文件保存GraphRAG管道的设置。可以修改此文件以调整各种管道设置，例如Azure OpenAI的API基础、版本和部署名称。例如：
```
llm:
type:azure_openai_chat
api_base:https://<instance>.openai.azure.com
api_version:2024-02-15-preview
deployment_name:<azure_model_deployment_name>
```
prompts/：此目录包含GraphRAG使用的默认提示。这些提示指导大型语言模型（LLM）生成回答。可以修改这些提示或运行自动提示调整命令以生成适应你数据的新提示。

5 目的和用途

.env 文件：

目的：存储环境变量，包括用于验证对OpenAI或Azure OpenAI服务请求的API密钥。
用途：此文件由GraphRAG系统引用，以访问必要的凭据和配置设置。

settings.yaml 文件：

目的：包含GraphRAG管道的详细配置设置，如API端点、模型版本和部署名称。
用途：此文件用于自定义GraphRAG管道的行为，允许用户指定使用哪个LLM以及如何与之交互。

目的：保存默认的LLM提示，指导模型生成回答。这些提示可以根据你的数据的具体需求进行定制。
用途：用户可以修改提示以提高生成回答的准确性和相关性。该目录还支持运行自动提示调整命令以创建新的、特定于数据的提示。

6 修改 settings.yaml

由于我们打算在本地运行graphRAG，需要对默认的 settings.yaml 文件进行一些更改。

encoding_model:cl100k_base
skip_workflows:[]
llm:
api_key{GRAPHRAG_API_KEY}
typepenai_chat
model:mistral
model_supports_json:true
api_base:http://localhost:11434/v1
parallelization:
stagger:0.3
async_mode:threaded
embeddings:
async_mode:threaded
llm:
api_key{GRAPHRAG_API_KEY}
typepenai_embedding
model:nomic_embed_text
api_base:http://localhost:11434/api

7 修改以使用 Ollama 嵌入

GraphRAG 本身不支持 Ollama 嵌入模型，但可以通过修改 GraphRAG 库中的特定文件来添加此支持。通过编辑 openai_embeddings_llm.py 文件，我们可以启用使用 Ollama 嵌入模型。这涉及导入必要的模块并更新代码以调用 Ollama 的嵌入函数，允许我们在 GraphRAG 管道中利用高级嵌入。

以下是如何更新 openai_embeddings_llm.py 文件的方法：

fromtyping_extensionsimportUnpack
fromgraphrag.llm.baseimportBaseLLM
fromgraphrag.llm.typesimportEmbeddingInput,EmbeddingOutput,LLMInput
from.openai_configurationimportOpenAIConfiguration
from.typesimportOpenAIClientTypes
importollama

classOpenAIEmbeddingsLLM(BaseLLM[EmbeddingInput,EmbeddingOutput]):
"""
使用 Ollama 进行嵌入的自定义 LLM（大型语言模型）实现。
"""

def__init__(self,client:OpenAIClientTypes,configuration:OpenAIConfiguration):
"""
初始化 OpenAIEmbeddingsLLM 实例。

参数：
 client (OpenAIClientTypes):与AI服务交互的客户端。
 configuration (OpenAIConfiguration): AI服务的配置设置。
"""
self._client=client
self._configuration=configuration

asyncdef_execute_llm(
self,input:EmbeddingInput,**kwargs:Unpack[LLMInput]
)->EmbeddingOutput|None:
"""
使用 Ollama 嵌入执行大型语言模型。

参数：
 input (EmbeddingInput):嵌入模型的输入数据。
**kwargs (Unpack[LLMInput]):模型参数的附加关键字参数。

返回：
 EmbeddingOutput | None:模型的输出嵌入或如果没有输出则为 None。
"""
args={
"model":self._configuration.model,
**(kwargs.get("model_parameters")or{}),
}
embedding_list=[]
forinpininput:
embedding=ollama.embeddings(model="nomic-embed-text",prompt=inp)
embedding_list.append(embedding["embedding"])
returnembedding_list

8 使用 GraphRAG 运行查询

使用以下命令索引数据：

python-mgraphrag.index--root.\ragtest

输出

运行查询以测试设置：

python-mgraphrag.query--root.\ragtest--methodglobal"HowwastheimpactofLily'sactiononvillagers"

输出

9 结语

未来，人工智能在商业领域的影响力将日益增强。那些能够将人工智能技术有效融入其业务运营的公司，将具备更快的创新速度、更优质的客户服务体验，以及更高效的流程优化能力。GraphRAG技术的出现，仅是人工智能潜力的冰山一角。

随着时间推移，人工智能将变得更加精密复杂。它将不仅能够理解问题，还能生成贴近人类思维的回答。预计不久的将来，企业将见证一种新型人工智能系统的诞生——这些系统不仅能够回答问题，还能基于海量数据分析提供战略性的见解和建议。因此，对于任何希望在竞争中保持领先地位的企业而言，积极拥抱人工智能并持续关注其最新发展，显得尤为关键。这不仅是一个选择，更是一个必然的趋势。