阿里DB-GPT:集成数据库和大型语言模型的AI应用开发框架

显示全部楼层

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-wrap: wrap;background-color: rgb(255, 255, 255);visibility: visible;">1.行业需求背景

随着机器学习和人工智能技术的发展，大型语言模型（LLM）如 GPT 系列、BERT 等在各个领域展现出了强大的能力。数据已成为企业和组织的核心资产，有效的数据管理和分析对于决策至关重要。企业和开发者需要定制化应用程序以满足特定业务需求，但传统开发方式耗时且成本高昂。为了提高开发效率，需要一种简化的方法来构建应用程序，特别是那些涉及复杂数据处理和自然语言交互的应用。

进入Data 3.0 是一个以数据为中心，强调数据驱动决策和自动化数据处理的时代。其特征是基于模型和数据库，利用 AI 技术实现数据的自动化处理和智能分析。随着可用模型的增多，需要一种机制来管理和协调这些模型，实现资源共享和优势互补。同时，在涉及多个代理和模型交互的场景中，需要更好地编排和管理复杂的工作流程。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-wrap: wrap;background-color: rgb(255, 255, 255);visibility: visible;">2.DB-GPingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-wrap: wrap;background-color: rgb(255, 255, 255);visibility: visible;">T：结合大型语言模型和智能代理，提供智能分析和决策支持

DB-GPT是一个开源的AI原生数据应用开发框架，专注于大型模型和数据库结合领域的基础设施建设。通过AWEL（Agentic Workflow Expression Language）和智能代理，简化数据库和大型模型应用程序的开发过程。

DB-GPT系统架构图

ingFang SC", miui, "Hiragino Sans GB", "Microsoft Yahei", sans-serif;letter-spacing: 0.5px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 8px;">关键术语

DB-GPT: 数据库和大型语言模型的开源框架。
Data App: 在 DB-GPT 上构建的智能数据应用。
Text2SQL/NL2SQL: 利用大型语言模型根据自然语言生成 SQL 语句。
KBQA: 基于知识的问答系统。
GBI: 生成式商业智能，提供商业智能分析和决策。
LLMOps: 大型语言模型操作框架，提供训练、微调、部署、监控的标准端到端工作流程。
Embedding: 将文本、音频、视频等材料转换为向量的方法。
RAG: 检索增强生成框架。
AWEL: 智能工作流表达语言。
AWEL Flow: 使用智能工作流表达语言的工作流编排。
SMMF: 面向服务的多模型管理框架。

ingFang SC", miui, "Hiragino Sans GB", "Microsoft Yahei", sans-serif;letter-spacing: 0.5px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);">主要功能

私有领域问答与数据处理: 支持通过内置、多文件格式上传、基于插件的网络爬虫等方式定制知识库，对海量结构化，非结构化数据做统一向量存储与检索。

https://docs.dbgpt.site/docs/latest/application/started_tutorial/chat_knowledge

多数据源与 GBI: 支持自然语言与 Excel、数据库、数据仓库等数据源的交互，支持分析报告。

https://docs.dbgpt.site/docs/latest/application/started_tutorial/chat_excel

SMMF: 支持包括开源模型和 API 代理在内的多种大型语言模型。如LLaMA/LLaMA2、Baichuan、ChatGLM、文心、通义、智谱、星火等。

https://www.yuque.com/eosphoros/dbgpt-docs/bex30nsv60ru0fmx

自动化微调: 支持 Text2SQL 微调，提供了一个轻量级的自动微调框架。

https://www.yuque.com/eosphoros/dbgpt-docs/bex30nsv60ru0fmx

数据驱动的多代理与插件: 支持通过自定义插件执行任务，遵循代理协议标准。

https://docs.dbgpt.site/docs/latest/application/started_tutorial/agents/crawl_data_analysis_agents

隐私与安全: 支持数据隐私保护，通过技术手段确保数据隐私和安全。

https://www.yuque.com/eosphoros/dbgpt-docs/bex30nsv60ru0fmx

用例

SMMF: 面向服务的多模型管理框架。
检索: 增强型检索框架。
代理: 数据驱动的多代理。
微调: Text2SQL/Text2DSL 的微调模块。