|
ingFang SC", system-ui, -apple-system, system-ui, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-variant-ligatures: normal;orphans: 2;widows: 2;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;background-color: rgb(255, 255, 255);line-height: 1.75em;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">AI时代,语义检索成为常态,向量数据库已经成为搜索推荐系统,RAG落地,自动驾驶数据筛选等场景的关键基础设施。ingFang SC", system-ui, -apple-system, system-ui, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-variant-ligatures: normal;orphans: 2;widows: 2;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;background-color: rgb(255, 255, 255);line-height: 1.75em;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">但是从Elasticsearch 到Milvus 、Zilliz Cloud到PG vector,再到Qdrant ,我们到底要如何做向量数据库选型?ingFang SC", system-ui, -apple-system, system-ui, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-variant-ligatures: normal;orphans: 2;widows: 2;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;background-color: rgb(255, 255, 255);line-height: 1.75em;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">解决了不同厂商之间向量数据库产品的选型问题之后,最近一段时间,我们遇到了很多用户询问,Milvus是现如今全球最大的开源向量数据库,这是我们的首选,但关于Milvus,好像也有很多版本,到底该怎么选?ingFang SC", system-ui, -apple-system, system-ui, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-variant-ligatures: normal;orphans: 2;widows: 2;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;background-color: rgb(255, 255, 255);line-height: 1.75em;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">针对市面上最常见的三大Milvus版本,我们的选型建议是:ingFang SC", system-ui, -apple-system, system-ui, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-variant-ligatures: normal;orphans: 2;widows: 2;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;background-color: rgb(255, 255, 255);line-height: 1.75em;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">纯开源Milvus:适合超级大团队有定制化需求,或者mini团队做向量数据库初探。ingFang SC", system-ui, -apple-system, system-ui, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-variant-ligatures: normal;orphans: 2;widows: 2;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;background-color: rgb(255, 255, 255);line-height: 1.75em;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">云厂商版本Milvus:多数情况下不推荐,除非小规模数据量的非核心团队,云厂商将其作为针对主营业务的赠送福利。ingFang SC", system-ui, -apple-system, system-ui, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-variant-ligatures: normal;orphans: 2;widows: 2;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;background-color: rgb(255, 255, 255);line-height: 1.75em;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">Zilliz Cloud(Milvus原厂自研的商业化版本):成本敏感型团队、业务高速增长团队,没有5人及以上运维支持的团队、对安全以及性能有更高要求的团队。ingFang SC", system-ui, -apple-system, system-ui, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-variant-ligatures: normal;orphans: 2;widows: 2;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;background-color: rgb(255, 255, 255);line-height: 1.75em;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">01ingFang SC", system-ui, -apple-system, system-ui, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-variant-ligatures: normal;orphans: 2;widows: 2;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;background-color: rgb(255, 255, 255);line-height: 1.75em;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">为什么选择Milvus、Zilliz cloudingFang SC", system-ui, -apple-system, system-ui, "Helvetica Neue", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-variant-ligatures: normal;orphans: 2;widows: 2;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;background-color: rgb(255, 255, 255);line-height: 1.75em;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">在做选型之前,我们需要对自己的业务与需求做一个深度梳理,比如: RAG(检索增强生成):需要在海量文档中做语义相似度检索,对召回质量要求高,可灵活添加元信息,支持多租户,存储成本低。 推荐系统:基于用户行为向量找到相似用户或商品。要求高 QPS、低延迟、高可用性,支持数据离线导入和弹性扩缩容。 图像搜索:通过图像特征向量实现以图搜图。要求低延迟,高可扩展性,以应对数据急速增长。 代码搜索:基于代码语义而非关键字匹配。要求高召回,高 QPS,低延迟,数据规模相对可控。 通过以上几个典型案例,我们不难发现,对向量数据库,我们的核心需求,可以被总结为几大类: 简单易用:使用 Milvus 可在一分钟内创建一个大规模的向量相似性搜索服务,提供简单直观的 SDK,支持多种编程语言。Zilliz Cloud 提供一站式全托管向量数据库服务。分钟级轻松实现大规模向量数据库基础设施部署。 超高性能:Milvus 可充分利用硬件性能,提供先进的索引算法,向量检索速度是同类产品的 10 倍以上。 高可用性:Milvus 已在超过 10,000 家企业用户的生产环境中做过实战测试,各系统组件完全独立隔离,具有高度的弹性和可靠性。
02核心能力对比不难发现,Milvus是当下所有向量数据库中,在性能、功能、上手难度、开源透明度、性价比等方面做的最具代表性的产品。 在此基础上,Milvus的不同部署形式的能力建设各有不同。 整体我们可以将其分为开源版Milvus、云厂商托管版Milvus以及Zilliz Cloud 企业版(Milvus原厂自研的商业化版本),其核心区别总结如下 总而言之,在核心功能与性能相近的前提下,开源版 Milvus 及云厂商托管版 Milvus 均以开源为核心优势,而Zilliz Cloud 则在此基础上,进一步聚焦企业级场景需求,主打0 运维门槛、低成本投入、自动索引优化、高安全防护等差异化能力。 需要特别注意的是,对于多数新用户而言,Milvus 的自主运维需要一定的时间沉淀与技术认知积累,因此这类用户往往更倾向于选择商业化的 Milvus 产品(如云厂商托管版 Milvus、或者Zilliz cloud)。 但问题在于,云厂商托管版 Milvus 虽以 “托管” 为卖点,云厂商本身并不擅长 Milvus 的专业运维——我们后台就频繁收到来自云厂商的相关运维咨询。更关键的是,云厂商通常会基于开源 Milvus 进行定制化魔改,这反而会增加产品的黑盒属性,最终给用户带来更多运维层面的隐患与困境。 03Zilliz cloud特有能力解读(1)全新的向量搜索引擎CardinalZilliz Cloud 性能提升的核心是Cardinal——一个基于现代 C++ 模板的多线程向量搜索引擎(开源Milvus中采用的是knowwhere执行引擎)。Cardinal 实现了最实用和流行的近似最近邻搜索(ANNS)方法,并且能够充分利用可用的计算资源。这个全新的搜索引擎相比 Milvus 能够将性能提升(QPS)提升 10 倍。 Cardinal 对算法、工程和底层资源进行了调整: 算法调整:搜索算法、过滤算法、最佳优先搜索(best-first search)算法等,以提升整体性能。 工程调整:专门的内存分配器、多线程代码、搜索 Pipeline 的分层组件结构。 底层资源调整:为特定硬件(x86 和 ARM)优化的计算内核,使用像 AVX-512 for x86 这样的高级指令集 ,以及 NEON/SVE for ARM
以上优化体现在性能指标上 查询延时(latency):对于类似的工作负载,Zilliz Cloud 比自托管 Milvus 快 50-70%。 索引时间:与 Milvus 中的手动索引选择相比,AUTOINDEX 可以将索引时间减少 40%。 吞吐量:多亏 Cardinal 搜索引擎,Zilliz Cloud 的 QPS 比 Milvus 高 10 倍。
(2) AutoIndex:自动智能的索引选择Zilliz Cloud 推出了 AUTOINDEX——一种基于 AI 的索引选择机制,能够自动为每个数据集选择最佳的搜索策略和索引。通过 AUTOINDEX,用户无需手动选择索引类型。但使用开源 Milvus 需要额外的代码来手动选择索引。AUTOINDEX 可以根据给定的数据集、查询和硬件配置自动择最佳索引策略。对于开发者和数据工程师来说,这意味着可以减少花费在索引调整上的时间,从而将更多的时间花到数据分析和应用开发上。 有了 Cardinal 搜索引擎、AUTOINDEX 和多层次的调整,Zilliz Cloud 比 Milvus 更具性能优势。这些特性共同为您的组织带来了更高效、自动化和强大的向量搜索体验。 (3)按量付费,更低成本Zilliz Cloud 基于分布式架构打造,且支持自动扩缩容,有助于企业IT成本的优化,避免自托管环境中经常发生的过度配置问题。 整体来说,通过灵活的机器类型、计算存储分离、降低的运维开销、AUTOINDEX 和弹性扩展,Zilliz Cloud 比自托管的 Milvus 更具成本效益,总拥有成本(TCO)可下降 50%以上 (4)0运维、更安全Zilliz Cloud具备企业级安全体系:静态与传输数据加密、细粒度 RBAC 权限管理、全链路审计日志、SAML/OAuth2.0集成、VPC隔 离(BYOC),符合 GDPR、HIPAA 等国际标准。 运维层面,Zilliz Cloud内建高可用部署,跨可用区自动容灾,99.95% SLA 保证服务连续性。此外,还提供7x24 小时企业级技术支持,来自 Milvus 原厂团队,快速响应,保障故障恢复与优化指导。 04快速选型指南选开源 Milvus 自建,适合 4类人:有成熟运维团队的大厂:能养得起专职运维 / DevOps 团队(至少3到5人),扛得住故障风险,愿意为定制化付出成本。 非核心业务场景:数据量小(千万级以下)、并发低(低于 100QPS),对稳定性和响应速度要求不高。 深度技术研究者:需要基于开源代码二次开发,探索向量数据库底层技术。 学生以及技术爱好者群体:用于搭建产品demo,了解产品能力与用法
选 Zilliz Cloud 全托管,适合 90% 的企业:AI业务落地攻坚期:要快速上线,没时间搞基建,需聚焦算法和业务本身。 对高性价比有追求:通过灵活的机器类型、计算存储分离、降低的运维开销、AUTOINDEX 和弹性扩展,Zilliz Cloud 比自托管的 Milvus 更具成本效益,总拥有成本(TCO)可下降 50%以上 核心业务、数据规模爆发增长:业务核心依赖向量检索,不能停服。数据量从亿级到百亿级,并发波动大,需要弹性支撑。 全球化合规需求高:业务涉及欧美、医疗等强监管领域,必须满足 GDPR/HIPAA 等标准。 成本敏感型团队,没有专职运维团队:想砍掉冗余支出,用更少的钱,获得更稳定的服务。 追求极致性能:实时推荐、智能搜索、RAG 等场景,毫秒级响应是生命线。
|