链载Ai

标题: 探索 GraphRAG:从存储到查询,深入解析 NebulaGraph 与传统 SQL 的对比 [打印本页]

作者: 链载Ai    时间: 昨天 10:40
标题: 探索 GraphRAG:从存储到查询,深入解析 NebulaGraph 与传统 SQL 的对比

近年来,图数据库逐渐成为大数据和人工智能领域的热议话题。特别是随着 GraphRAG 技术的火爆,如何高效存储和查询大规模图数据成为很多开发者关心的问题。出于好奇,我最近尝试了 GraphRAG 并研究其存储结构,因此决定进一步探索图数据库的基本原理与实际运用。在此过程中,我发现了一个颇为有趣的开源项目——NebulaGraph

https://github.com/vesoft-inc/nebula

NebulaGraph:颠覆传统的图数据库解决方案

项目简介

NebulaGraph 是一款开源的图数据库,专注于处理拥有千亿个顶点和万亿条边的超大规模数据集。其独特之处在于提供毫秒级查询延时的性能,使其能够在社交媒体、实时推荐、网络安全、金融风控、知识图谱和人工智能等大规模生产场景中广泛应用。


NebulaGraph 的核心特点

  1. 全对称分布式架构:每个节点都是对等的,避免了传统主从结构中的瓶颈问题。

  2. 存储与计算分离:提供更强的灵活性和可扩展性。

  3. 水平可扩展性:通过增加节点可以轻松扩展数据存储和计算能力。

  4. RAFT 协议下的数据强一致性:数据在多个副本之间保持高度一致。

  5. 支持 openCypher:与广泛使用的查询语言兼容,降低学习成本。

  6. 用户鉴权:提供细粒度的权限控制。

  7. 支持多种类型的图计算算法:适应不同的业务场景和需求。


了解 NebulaGraph 的内核架构

NebulaGraph 的设计强调高性能、高可用和高扩展性。其核心架构图如下:

新手指南:如何使用 NebulaGraph

部署 NebulaGraph

  1. 克隆官方仓库:

gitclone-brelease-3.8https://github.com/vesoft-inc/nebula-docker-compose.gitcdnebula-docker-compose/
docker-composeup-d

使用 nGQL 进行数据操作

图空间和 Schema

在 NebulaGraph 中,一个实例可以包含多个图空间,每个图空间是物理隔离的。用户可以在不同的图空间中存储不同的数据集。

创建和选择图空间

图空间和 Schema

一个 NebulaGraph 实例由一个或多个图空间组成。每个图空间都是物理隔离的,用户可以在同一个实例中使用不同的图空间存储不同的数据集。

  1. 创建图空间:

CREATESPACEbasketballplayer(partition_num=15,replica_factor=1,vid_type=fixed_string(30));
SHOWSPACES;
USEbasketballplayer;


创建 Tag 和 Edge type

  1. 创建 Tag:

CREATETAGplayer(namestring,ageint);CREATETAGteam(namestring);
CREATEEDGEfollow(degreeint);CREATEEDGEserve(start_yearint,end_yearint);

插入数据

  1. 插入点(Vertices):

INSERTVERTEXplayer(name,age)VALUES"player100""TimDuncan",42);INSERTVERTEXplayer(name,age)VALUES"player101""TonyParker",36);INSERTVERTEXplayer(name,age)VALUES"player102""LaMarcusAldridge",33);INSERTVERTEXteam(name)VALUES"team203""TrailBlazers"),"team204""Spurs");
INSERTEDGEfollow(degree)VALUES"player101"->"player100"95);INSERTEDGEfollow(degree)VALUES"player101"->"player102"90);INSERTEDGEfollow(degree)VALUES"player102"->"player100"75);INSERTEDGEserve(start_year,end_year)VALUES"player101"->"team204"1999,2018),"player102"->"team203"2006,2015);

查询数据

使用 nGQL,我们可以轻松地对数据进行查询:

  1. 使用 GO 语句:

GOFROM"player101"OVERfollowYIELDid($$);
FETCHPROPONplayer"player100"YIELDproperties(vertex);
MATCH(v:player{name:"TonyParker"})RETURNv;

其他操作

修改点和边

使用 UPDATE 或 UPSERT 语句修改数据:

  1. 修改点:

UPDATEVERTEX"player100"SETplayer.name="Tim";
UPDATEEDGEONfollow"player101"->"player100"SETdegree=96;


删除点和边

  1. 删除点:

DELETEVERTEX"player111","team203";
DELETEEDGEfollow"player101"->"team204";


使用索引

为 Tag 和 Edge type 创建索引:

  1. 创建索引:

    CREATETAGINDEXplayer_index_1ONplayer(name(20));
REBUILDTAGINDEXplayer_index_1;
LOOKUPONplayerWHEREplayer.name=="TonyParker"YIELDproperties(vertex).nameASname,properties(vertex).ageASage;MATCH(v:player{name:"TonyParker"})RETURNv;

通过以上步骤,您可以顺利开始使用 NebulaGraph 存储和查询大规模图数据。无论是在社交媒体推荐系统还是金融风控领域,NebulaGraph 都能为您提供强大的数据支持。如果您对图数据库感兴趣,不妨一试 NebulaGraph,相信您会从中发现更多有趣的应用场景。

结语

通过对 NebulaGraph GraphRAG 技术的深入探索,我们可以看到图数据库在处理大规模数据集方面有明显的优势。无论是在高效的数据存储、快速的复杂查询,还是灵活的数据建模方面,NebulaGraph 都展示了其强大的能力。而 nGQL 的设计更是让开发者在处理复杂关联数据时更加得心应手。










欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5