|
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 1.5px;color: rgb(0, 0, 0);font-size: 14px;text-align: justify;visibility: visible;line-height: 2em;">导读数据与 AI 时代的浪潮当前，全球正处于一场由数据爆炸式增长和人工智能（AI）深度融合所驱动的巨大变革之中。阿里云智能集团计算平台事业部产品负责人徐晟先生，在会议上深入阐述了阿里云如何通过 OpenLake 解决方案，构建一个全模态、多引擎、一体化的智能数据体系，以期全面应对 AI 时代的挑战与机遇。大数据与 AI 的发展趋势密不可分，两者共同构成了未来企业数字化转型的心基础设施。
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 1.5px;line-height: 2em;visibility: visible;">1. 大数据行业的宏观趋势与技术演进2. AI 行业的爆发与 PAI 基础设施的变革 ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 1.5px;line-height: 2em;">3.Agentic Data：智能体与数据的深度融合ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 1.5px;line-height: 2em;">4. 阿里云 OpenLake 解决方案的架构与升级ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 1.5px;line-height: 2em;">5. 阿里云大数据 AI 平台ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 1.5px;line-height: 2em;">6. 总结：阿里云 OpenLake 面向 AI 时代的开放式架构ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: normal;orphans: 2;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;text-align: left;line-height: 1.75em;">分享嘉宾｜徐晟 阿里云智能集团 计算平台事业部产品负责人
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: normal;orphans: 2;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;text-align: left;line-height: 1.75em;">内容校对｜郭慧敏ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;font-style: normal;font-variant-ligatures: normal;font-variant-caps: normal;font-weight: 400;letter-spacing: normal;orphans: 2;text-indent: 0px;text-transform: none;widows: 2;word-spacing: 0px;-webkit-text-stroke-width: 0px;white-space: normal;text-decoration-thickness: initial;text-decoration-style: initial;text-decoration-color: initial;text-align: left;line-height: 1.75em;">出品社区｜DataFun
 01
大数据行业的宏观趋势与技术演进
大数据行业的发展脉络清晰可见，主要体现在市场规模的激增、权威机构的认可，以及技术架构的不断升级。
1.市场规模与数据量的惊人增长
全球数据存储量正以惊人的速度持续攀升。根据IDC的预测，到2025年，全球数据总量将达到163ZB，这一数字将是2020年的10倍。值得注意的是，其中实时数据的占比将超过25%，而物联网（IoT）实时数据又将占据实时数据中的95%。
推动市场增长的核心动力主要有三方面：首先是AI与大数据的深度融合，其次是多云架构的普及，最后是数据合规的刚性需求。随着全球数据隐私法规的不断强化，数据治理的定位也发生了根本性转变，它不再是单纯的“成本中心”，而是转变为驱动业务增长的“价值引擎”。
2.阿里云大数据平台的领先地位
阿里云大数据平台在国内外市场均获得了权威机构的高度认可。在2024中国公有云大数据平台服务市场份额中，阿里云以32%的份额位居第一，并在2024中国数据治理平台市场份额中占据重要地位。此外，IDC MarketScape 2024中国实时湖仓评估也显示了阿里云在能力方面的领先。在全球范围，阿里云的DataWorks等产品在Gartner的《2025数据管理平台市场指南》和Forrester Wave™的《云数据仓库》等报告中均被提及。
3.大数据技术架构的演进之路
大数据技术架构的演进路径是一个从分散走向统一、从封闭走向开放的过程。它经历了Data Lake（数据湖）、Data Lakehouse（湖仓一体）、Bigdata Search AI Lakehouse（大数据搜索AI湖仓），并最终发展到今年的核心概念OpenLake Agent（开放湖智能体）。
在技术演进的早期，数据湖中的数据多为Parquet、Orc、Avro等文件格式，仅支持Read（只读）。随后，湖仓一体架构的出现，引入了Iceberg、Delta、Hudi、Paimon等一系列开放且公认的协议和格式，实现了数据的读/写能力。这种开放性使得不同的计算引擎能够使用同一份数据进行计算和使用，解决了数据孤岛问题。
而今年的重点OpenLake Agent，则代表了数据与AI的深度融合。其核心价值在于，今天的数据必须能够被Agent（智能体）所使用，例如实现自然语言到SQL（NL to SQL）或Chat BI等功能。这意味着Agent需要具备将多引擎、同一份数据以及这些数据的元数据（Meta）混合起来，进行串通使用的能力，这正是Data Lake Agent所要解决的核心问题。
4.经典客户案例：互联网企业上云的增效降本
某互联网知名企业的大数据全栈上云项目是阿里云解决方案的经典案例。该企业旨在通过云上大数据产品，对其已布局多年的传统IT基础设施进行架构升级，以解决现有IDC在应对业务高峰、数据安全等方面的痛点。
阿里云采用了以DataWorks + MaxCompute + Hologres为核心产品的方案，并通过MMA数据迁移服务实现了平滑迁移。最终，该项目取得了显著成果：在增效降本方面，仅使用了原有IDC 60%的计算资源，就将周期性ETL任务的整体耗时缩短了40%；在业务提效方面，Hologres中的应用层数据查询速度提升了数十倍，高效满足了业务方各类自定义分析的需求；同时，平台提供了分时弹性资源供给、可视化管控和诊断、免运维等能力，确保了可靠性，并满足了未来3-5年业务发展的先进技术架构需求。
02
AI行业的爆发与PAI基础设施的变革
AI行业正经历着前所未有的爆发，尤其在算力增长和市场规模方面表现突出，而阿里云的PAI（Platform for AI）正是支撑这一爆发的核心基础设施。
1. AI市场与算力规模的快速扩张
在算力方面，预计到2028年，中国智能算力规模将达到2781.9 EFLOPS（每秒百亿亿次浮点运算次数）。在市场规模方面，IDC预测到2028年中国人工智能总投资规模将突破1,000亿美元，五年复合增长率高达35.2%。其中，生成式AI（GenAI）的投资占比将从2024年的18.9%快速增长至2028年的30.6%，投资规模将超过300亿美元，五年复合增长率为51.5%。市场细分数据也明确指出，智算服务（高网高性能计算）将占据主导地位，而推理服务的数量将大幅超越训练服务。而阿里云也在全球各类机构的AI报告中获得多项领先的评测与奖项。
2. AI技术趋势：从训练到Test Time的成本递减
AI技术的发展趋势呈现出明显的成本递减规律，即从预训练大模型到后训练（调优），再到Test Time。Test Time指的是在模型部署后，不再对模型本身进行修改，而是通过外部手段持续提升模型效果，例如利用RAG（检索增强生成）、Agent（智能体）和Prompt Engineering（提示词工程）等技术。这种方式的成本更低，因此许多企业已将工作重心转向Test Time。虽然部分企业仍需进行后训练的优化和微调，但其成本也远低于从头训练基础模型。
今天的AI基础设施（AI Infra）已经发生了根本性变革，它不再是简单的集群，而是涵盖了三个关键部分：高网GPU（High Net GPU）、高性能分布式存储和数据计算（Data Computing）。
当模型超出单机或单卡限制时，需要高性能的I/O来支持数据交换，这就要求整个机房具备High Net能力，包括RDMA（RoCE）等技术。同时，需要CPFS、NAS、EBS、OSS等高性能分布式存储来提高数据IO性能。同时AI数据的预处理需要和Data Computing的基础架构做好资源调度和存储复用的整合。这种新的基础设施的变革为用户带来了巨大的收益（Customer Benefits），即用户无需关注底层复杂的架构，就可以低门槛的使用Data+AI的基础架构，基于新的基础架构，PAI提供了资源管理、高可用性（High Availability）以及Responsible AI能力，即通过内容检查（Content Check）、反攻击（Anti Attack）等手段，确保AI的使用符合规则和限制。
阿里云人工智能平台PAI支持了世界顶级大模型千问/万象系列的商业化AI训练和推理，是AI工程全链路一站式平台，提供了资产管理（异构GPU/CPU、存储）、资源管理（分布式弹性自愈调度、抢占式实例）、高可用训练和推理深度优化以及从模型到Agent的开发能力支持。
3.客户案例：阿里云人工智能平台PAI助力新能源车企实现智驾量产
某头部新能源车企的智能驾驶（智驾）项目是PAI应用的一个典型案例。该客户面临着端到端大模型研发对数据产线产能、训练集群规模和效率的指数级增长需求，以及多种异构算力（CPU、GPU、智算）规模大、利用率低、高性能要求高等痛点。
阿里云的解决方案是利用PAI纳管异构资源池，并通过PAI-TurboX框架及算子优化，使模型迭代速度提升20%。核心的PAI-DLC协同Hologres实现了数据产线工作流开发，保障了日均千万级任务的高效调度和容错，使生产耗时缩短两倍，GPU调度率稳定在98%以上，产能提升超4倍。此外，PAI通过sGPU支持GPU虚拟化，进一步提升了集群资源利用率，并最大限度满足了客户核心技术自主可控的要求。
03
Agentic Data：智能体与数据的深度融合
1.Agent is coming
当前，“Agent is coming”（智能体正在到来）已成为业界共识。智能体（Agent）与传统模型的最大区别在于，它具备感知、决策、反馈和反思的能力。
2.智能体与数据交互的核心逻辑
Agentic Data（智能体数据）的核心逻辑在于，数据和AI之间需要建立明确的通道。符合MCP（Model Context Protocol）协议的数据可以提供给AI使用，而AI作为Agent，则可以反过来在数据上进行操作和使用。MCP Server定义了这一通道，使得各种应用能够利用MCP Server或Client来操作不同数据域下的数据。
构建一个Agent需要一个复杂的系统，包括Agent System和编排（Orchestration）。Agent System需要解决认证（Authentication）、长记忆（Long Memory）、沙箱（Agent Sandbox）、Agent Observability（可观测性）以及各种Agent Protocol（协议）等问题。编排则负责定义和执行Agent的工作流程，如Planning/Action，以及Human in Loop的机制。无论是AWorld、LangGraph还是AutoGen等框架，都需要基础设施层面予以支持。在工具层面除了能发现和使用MCP工具以及使用browser和crawler工具以外，还要负责没有工具写code创建工具的过程，同时负责任的AI能力也必须在Agent的构建中予以重视。 04
阿里云OpenLake解决方案的架构与升级
基于AI时代的浪潮与趋势，阿里云推出OpenLake解决方案，通过DLF在统一开放的湖仓上实现了结构化、半结构化、非结构化数据的统一存储与管理，通过所有计算引擎的湖仓升级支持一份数据多个计算引擎（MaxCompute、Hologres、Flink、EMR、PAI、AI搜索等）协同计算，使得OpenLake湖仓成为Data和AI的共同底座。同时通过DataWorks提供的OpenLake Studio可对大数据和AI任务的开发和发布提供一体化开发体验以及Agent形式的服务支持。
1.阿里云OpenLake解决方案重磅升级
OpenLake基于One Copy（一份数据）的理念。这意味着无论是Spark、Flink等大数据引擎，还是Ray等AI计算框架，或是多模态的向量检索，都可以在一个湖仓中完成，且无需进行数据传输。这种架构极大地简化了数据管线，减少了数据的一致性问题和用户的成本
为了实现这一目标，阿里云将DLF（Data Lake Formation）新增Omni Catalog能力，它是OpenLake的核心元数据（Meta）管控服务。最新的DLF 3.0支持Paimon Table、Iceberg Table、Lance Table、Object Table 和 Format Table（支持Parquet、ORC、Avro、CSV等文件格式），共5类目录服务，全面支持结构化数据兼容模式、独立生态模式、对象存储文件和AI打包等多种形态。
2.阿里云OpenLake解决方案应用案例
在行业实践上，OpenLake助力诗悦游戏降本增效，并提供实时湖仓能力，总成本降低38%，计算资源下降17%，以低成本+高稳定性+高性能承接未来各种业务应用。
互联网教育企业绚星智慧通过OpenLake让同一份数据支持Flink，Spark，StarRocks多种引擎对接，满足不同场景的用数需求，整体成本降低50%，查询性能提升300%，端到端数据10分钟可见。
05
阿里云大数据AI平台
1.阿里云DLF（Data Lake Formation）3.0
阿里云DLF（Data Lake Formation）3.0升级为面向AI时代的智能全模态湖仓管理平台，从传统的湖仓管理工具，全面进化为支持结构化、半结构化与非结构化数据统一管理、安全开放、性能卓越的新一代数据基础设施。
2.阿里云Flink Uniflow与Fluss实时湖仓方案
实时流计算、湖流一体的存储Fluss现已上线阿里云并即将在十月正式开启公测。该存储方案基于Apache Arrow列式存储设计，大幅优化IO性能，并支持流读列裁剪、分区下推等特性，实现高性能低成本的流处理。Fluss就是DLF的实时（秒级）版本，Fluss中的数据会定期flush到DLF中，如果单独查询可以做实时湖仓，如果Fluss联合DLF就可以实现实时离线一体化湖仓（支持引擎实时/离线查询）。
3.阿里云EMR商业增强内核
EMR-Spark和EMR-StarRocks发布了Native Code版本，Fusion（企业级Spark向量编程内核） 和Stella (企业级StarRocks向量编程内核)在全球数据仓库性能及性价比排行榜中斩获两项全球冠军！
4.阿里云ODPS十五周年全面升级
MaxCompute基于“Data+AI一体化”的设计理念，构建了一套覆盖数据、算力、模型与融合层的能力体系，旨在打造真正意义上的AI原生数据仓库。实现从“传统数据仓库”向“AI原生数仓”的跃迁。
Hologres4.0以“AI时代的一站式多模态分析平台”为核心理念，在OLAP分析、点查、向量检索、全文检索、湖仓协同及AI Function集成等方面的更新能力，向量检索登顶VectorDBBench性价比榜单四项第一。
DataWorks从传统数据平台工具，进化为面向AI时代的“智能数据中枢”，致力于帮助企业应对多模态数据爆发、AI模型和AI应用迭代频繁、组织协同复杂等挑战，实现“Data+AI”的深度融合与高效协同。
5.阿里云人工智能平台PAI
面向开发者和企业的一站式AI开发平台，提供从数据集管理、算力调度、模型开发、训练，到模型部署、服务及AI资产与AI安全治理等全链路能力，内置400+基础大模型和200+最佳实践案例，助力用户实现高性能、高稳定的AI大模型工程化。
6.阿里云AI搜索
推出Agentic Search架构创新，通过多Agent协同、多模态数据处理与任务自主规划，构建了从“问题提出”到“方案自主生成”的智能闭环，从传统“信息匹配”迈向“智能问题解决”的全新时代。
06
总结：阿里云OpenLake面向AI时代的开放式架构
阿里云OpenLake通过DLF全新支持Paimon Table、Iceberg Table、Format Table（虚拟概念，支持Parquet、ORC、Avro、CSV文件格式，表类型以文件格式为命名）、Lance Table、Object Table共5类目录服务，覆盖结构化数据的兼容模式和独立生态模式，对象存储文件和AI打包AI等多种形态，全面支持数据计算需求、多模态检索需求和AI模型需求。同时在工作台层面提供OpenLake Studio可对大数据和AI进行任务编写，发布等。 在存储层面也全面支持了全托管存储（可以更安全和高效的使用OSS存储，管控表级和列级权限，管理引擎和存储的访问账号等），结合引擎全系支持AI Function以后，阿里云OpenLake解决方案升级成为全模态数智一体企业级解决方案。
阿里云OpenLake解决方案展现了阿里云大数据AI平台面向AI时代的战略布局和技术领先性，助力企业实现从数据价值挖掘到AI应用落地的全链路成本优化和引擎选型自由。阿里云将积极与各行业专家、合作伙伴以及专业媒体侧持续保持深入交流，助力千行百业Data+AI一体化融合，为企业在AI时代的创新与实践提供了坚实的技术底座、更高性价比以及无限可能。 | 
