|
导读dify.AI 是 GitHub 上排名第二的热门 LLM 工具，已经获得 70,000+ 星标（stars）。为了攻克 GenAI 平台开发中的关键难题，Dify.AI 重构了数据架构，采用了 TiDB Cloud Serverless （全托管无服务器分布式数据库） 作为核心数据库的统一存储层，并借助 AWS 的 EC2 和 Bedrock 基础设施来满足云资源和知识服务的弹性与灵活性需求。通过将众多分散的数据库整合为一个统一的系统，Dify.AI 为众多 AI 应用开发者打造了一个可扩展的平台，显著提升了开发效率。这一架构优化带来了显著的成本效益：基础设施成本降低了 80%，运维开销减少了 90%，运维复杂性大幅降低，同时支持 AI 应用的快速大规模开发。 全文目录： 1. 挑战：在 AI 开发中管理海量数据集 2. 解决方案：借助 TiDB 统一数据管理 3. 技术优势：TiDB 统一智能基础设施 4. 未来展望 Dify.AI 是一款领先的开源大语言模型（LLM）应用开发平台，它通过直观的可视化工作流，让企业无需深厚技术背景即可创建复杂的 AI 应用，正在革新企业构建和部署 AI 应用的方式。 自 2023 年以来，Dify.AI 迅速崛起，成为 GitHub 上第二受欢迎的 LLM 工具，获得了超过 70,000 颗 stars 和 630 多位贡献者的支持。该平台已助力全球数千名开发者，应用范围涵盖聊天机器人、内容生成、复杂文档分析以及 AI 驱动的工作流等领域。 Dify.AI 团队指出：“从接触生成式 AI 到构建可投入生产的应用之间存在着巨大鸿沟。虽然使用 ChatGPT 或复制一个演示项目相对容易，但如何通过 AI 应用创造真正的商业价值仍是巨大挑战，而我们正在努力填补这一缺口。” 作为 GenAI 平台供应商，Dify.AI 在数据管理层面主要面临两个挑战。一方面，平台需要同时处理多种数据类型——从传统的关系型数据到向量嵌入，从文档存储到对话历史记录；另一方面，平台的多租户架构迫使他们需要管理数十万隔离的数据库，每个数据库对应一个开发者独特的数据集。 不仅如此，作为一个 SaaS 公司，数据管理的复杂性还影响了他们自身的创新能力和服务客户的效果。“管理不同数据类型的独立数据库不仅复杂，还让我们无法专注于真正重要的事情：构建更好的 AI 应用。”Dify.AI 团队表示。 为了应对这些挑战，Dify.AI 重新设计了 GenAI 平台的数据管理层，统一技术栈： 
图 1 Dify.AI的数据流、以及基于TiDB和云基础设施的统一架构 Dify.AI 的平台实现了不同类型数据与处理流程的无缝衔接，借助先进的 AI 技术将原始数据转化为有价值的信息。所有数据均统一存储于 TiDB 的存储层，并依托 AWS 基础设施进行部署，从而提升可扩展性和效率。 这种架构的意义远不止于技术整合。它体现了 Dify.AI 如何将整个数据基础设施整合为一个统一系统，实现从数据采集到 AI 驱动应用的全流程数据管理。该架构分为以下四层： 事务性数据处理：高效处理事务性数据和实时数据，确保数据的准确性和及时性。 知识图谱存储：支持复杂关系型数据的原生存储，助力深度洞察和关联分析。 向量存储：为 AI 应用中的相似性搜索提供强大的嵌入支持，提升检索效率。 文档存储：用于存储原始内容，方便对非结构化数据进行快速检索。 AWS 基础设施：系统依托 AWS 基础设施运行，充分利用以下资源： 利用 AWS EC2 提供弹性计算能力，灵活应对不同工作负载的波动。 采用综合存储方案，例如使用 S3 存储海量数据，使用 EBS 提供持久化存储。 与 AWS Bedrock 的深度集成，使 Dify.AI 能够访问多个 LLM 供应商的预训练模型，从而进一步提升其在外部知识服务方面的能力。
Dify.AI 将数十万个数据库整合至单一的 TiDB Cloud，极大地简化了基础设施架构，显著降低了操作复杂性与维护成本。 这一统一解决方案为平台在数据库层面提供了强大的 AI 功能支持，包括内置的知识库功能以及无缝集成的 RAG 实现，能够自动处理文档，并将内容与向量嵌入统一存储于同一张表中。 开发者仅需通过简单的 SQL 查询即可快速完成原型开发，这种查询方式同时适用于传统数据和向量数据，免去了学习多种查询语言和管理多个系统的繁琐过程。此外，平台的自动扩缩容（Scale-to-zero）功能能够根据实际使用情况自动调整资源，优化成本，同时确保高性能。 这一方案最吸引人的地方在于，通过引入 TiDB 带来的这种架构革新，让我们能够在一套系统中同时处理传统数据库操作和 AI 特有的向量相似性搜索，这不仅是基础架构升级，更是一次对平台构建和未来扩展方式的根本性变革。 Dify.AI 创始人兼 CEO TiDB 的转型带来了三大核心技术优势，彻底改变了 Dify.AI 构建和扩展平台的方式：统一数据处理单一数据源：实现了文档、向量数据、对话历史及传统关系型数据的统一存储。 简化架构：将多套专用数据库整合为一个统一系统，大幅降低运维复杂性。 提升性能：优化传统操作与向量操作的查询模式，显著提高数据处理效率。
可扩展的多租户设计隔离性：为每位客户提供独立的逻辑空间，同时共享物理资源，确保数据安全与隔离。 资源管理：根据客户工作负载自动扩缩容（Scale-to-zero）资源，实现灵活调度。 成本效益：采用按需付费模式，系统能根据实际使用量自动扩展或缩减资源，甚至可以在闲置时完全停止运行，有效优化成本。
集成向量操作与此同时，Dify.AI 在多个关键指标上取得了显著的可量化提升： | ⚡️基础设施简化 | ?简化运维 | ?业务敏捷 | | 从管理数十万个孤立的数据库容器到一个统一的整体系统。 | 将数据库维护工作减少了 90%，让工程师可以专注于核心 AI 平台能力。 | 通过资源整合和自动扩缩容（Scale-to-zero），节约80% 的成本。 |
此次数据架构的转型升级，使 Dify.AI 能够站在 GenAI 领域创新的最前沿。现在，团队基于 TiDB Serverless 来运行 RAG 工作流，并进一步探索更多高级功能，比如实时知识图谱更新和跨模态查询优化——这些功能基于之前的基础设施是完全无法实现的。TiDB 不仅仅是一个数据库解决方案，它已经成为积极拥抱 AI 生态企业的战略级技术支撑平台。通过将向量搜索、知识图谱和日常运营数据整合到一个统一系统内，彻底解决了过去多个数据库管理带来的高度复杂度，同时确保了系统拥有企业级的稳定性。 Dify.AI 团队表示：“我们与 TiDB 的合作体验非常出色。平台能够在同一个系统中处理多种需求：从知识图谱管理到文档存储，再到对话历史等，这与我们追求简化、强大的 AI 开发平台的愿景高度契合。” “我们选择 TiDB，不仅是为了应对当前的挑战，更是为了构建一个能够随着我们和客户需求共同演进的基础设施。” | 
