企业部署生成式 AI，五个最大的挑战是什么？ - 链载Ai

生成式 AI 在提升生产力效率方面展现出巨大的潜力，这也使得企业生产力场景成为过去两年生成式 AI 落地速度最快的应用领域之一。然而，企业在初步体验了这一技术的「尝鲜」之后，如何确保员工在工作中持续使用生成式 AI，而不是将其搁置一旁，已成为所有竞争 AI 基础设施的云计算巨头们必须思考的重要问题。

这就需要回答一个核心问题：「今天企业在运用生成式 AI 时面临哪些挑战？」而在这一话题中，亚马逊云科技无疑是最有发言权的企业之一。

在正在进行的 re:Invent 大会上，亚马逊云科技推出了数十项生成式 AI 相关的新产品，涵盖了从最底层的 AI 算力芯片、模型训练和基础模型，到中间层的智能体开发，再到最上层的 AI 应用，技术栈涉及各个领域。

这些新产品和工具并不是技术团队随意定义的，而是源自过去一年中数万客户提出的各种需求。通过这些反馈，亚马逊云科技能够精准识别出客户面临的挑战，并据此推出符合需求的创新产品。今天企业引入生成式 AI 的主要挑战可以归纳为五点，按重要性排序如下：

丰富的选择权
更低的部署成本
训练更敏捷、更专业的小模型
消除幻觉
解决更复杂的任务

极客公园总结了为什么这五大需求成为今天企业引入生成式 AI 的关键挑战，并梳理了亚马逊云科技在本届大会上发布的生成式 AI 新产品和服务，是如何帮助企业应对这些关键问题。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.578px;">选择权大于一切

在当地时间周二上午的 Keynote 环节中，无论是马特·加曼还是安迪·贾西，在谈及企业部署生成式 AI 时，都着重强调了「丰富的选择（Choice Matters）」对于客户的重要性。

这点在亚马逊云科技的大模型策略中表现得尤为突出。与微软云和谷歌云等厂商更倾向于依赖自家大模型或顶尖合作伙伴的策略不同，亚马逊云科技虽然自主研发了 Titan 和 Nova 系列大模型，并重金投资了 Anthropic 这样的顶尖大模型开发商，但其整体策略更注重为开发者提供一个多样化的大模型选择平台，用以构建 AI 应用。

加曼指出，丰富的大模型选择是 Amazon Bedrock 吸引客户的关键因素之一。他表示：「我们发现，并非所有客户都希望使用单一模型。他们更倾向于根据需求选择多种不同的模型。有些客户偏好使用开源模型，比如 Llama 或 Mistral，这使他们能够自行进行微调；有些客户的应用程序需要图像处理模型，例如 Stability 或 Titan 提供的模型；还有许多客户尤其钟爱最新的 Anthropic 模型，因为不少人认为这些模型在通用智能和推理能力方面的表现堪称市场最佳。」

而作为亚马逊云科技最重要的「客户」，亚马逊对此深有体会。过去在亚马逊内部构建项目中所使用模型的多样性令人惊讶。亚马逊给了开发人员自主选择的权利，原本以为大家都会选择 Claude 这样的顶尖模型——虽然确实内部也有很多开发人员选择了 Claude，但他们也会采用 Llama、Mistral，以及一些自己开发的模型。

这其实并不奇怪。因为一直以来，很难出现一种工具能在某个领域一统天下。就像数据库领域探讨了 10 年，大家依然会使用各种各样的关系型数据库或者非关系型数据库。

一方面，亚马逊云科技发布了自研大模型 Amazon Nova，并宣布与擅长视频生成模型的 Luma AI 以及擅长代码生成的 poolside 等大模型开发商达成合作，继续丰富模型库的供应商合作伙伴。

另一方面，亚马逊云科技宣布推出 Amazon Bedrock Marketplace，里面提供了超过 100 个来自全球供应商的基础模型产品，现在用户可以在 Amazon Bedrock 上选择和测试这些新模型，并结合 Bedrock 上的知识库、FT、Guardrails 等功能，将其部署到 AI 应用。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.578px;">更低的部署成本

对于企业部署生成式 AI 应用而言，计算成本一直是一个绕不开的问题。虽然今天鲜少有传统行业的公司投入数千万乃至数亿美元预训练基础模型，但当生成式 AI 应用达到一定规模，推理成本就成为企业必须衡量的投入。

今年早些时候，亚马逊云科技剧透了第二代自研 AI 计算芯片 Trainium 2。而在 re: Invent 大会期间，亚马逊云科技正式推出 Amazon EC2 Trn2 实例，相较 GPU 实例，性价比提升 30%-40%，这个计算实例包含 16 个 Trainium 2 芯片，每组应用实例可以达到 20.8 PFlops 的算力；此外还有包含 4 组实例即包含 64 个 Trainium 2 芯片的 Trainium 2 超级服务器（UltraService），浮点运算能力可以达到最高 84.2 PFlops。

更重要的是，Trn 2 芯片有着更低的单位算力成本。在生成式 AI 计算领域，英伟达的 GPU 可以占到全球 95% 以上的市场份额。当全球范围内所有的生成式 AI 应用程序基本都是基于一种芯片构建起来的，大家都迫切希望获得更高的性价比，这就是行业对 Trainium 2 兴奋的原因。

此外，亚马逊云科技还在会上剧透了下一代算力芯片 Trainium 3。据悉，该芯片将采用 3nm 先进制程工艺，提供两倍于 Trainium 2 的算力，以及 40% 的单位能效提升。

除了更高性价比的算力供给，亚马逊云科技还在致力于利用工具和架构层面的优化，降低企业开发的 AI 应用在调用大模型的过程中消耗的算力资源。

除此之外，亚马逊云科技还在会上发布了 Prompt Caching，这是一种在大语言模型中存储和复用提示词的技术。也就是当用户提出相当的问题时，Agent 可以直接调用此前存储的结果，进而减少计算开销、延迟和成本，特别是在那些需要频繁使用相同提示的应用程序中。Prompt Caching 可以节省 AI 应用近 90% 的推理成本。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.578px;">训练更敏捷、更专业的小模型

尽管生成式 AI 是一个创新速度极快的领域，但对企业而言，想要在成本、功能上找到完美契合自身用例的模型依然十分困难。

AI 应用开发者希望找到的是一个延迟低、成本低，但又能满足专业要求的模型，但要实现起来并不容易。有时候，开发者找到了一个专业知识匹配度很高的模型，它很聪明也很不错，可就是价格偏高，并且运营速度较慢；又有的时候，开发者找到了一个速度更快、成本更低的模型，但它在功能上又达不到今天的需求。

人们解决这一问题的其中一种方法叫做模型蒸馏。具体做法简单来说，就是将一个特定的问题集发给能力更强的大型模型（比如 Llama 405B 模型），然后把所有的数据、答案与问题一起用来训练一个较小的模型（比如 Llama 8B 模型），使其成为某一特定领域的专家，如此一来，就能得到一个规模更小、运行速度更快且知道如何准确回答特定问题集的专业模型。

这种方法在生成专家模型方面效果确实不错，但需要机器学习专家来操作，实际操作起来难度颇高，得管理所有的数据工作流，要处理训练数据、调整模型参数，还要考虑模型权重等，挑战不小，而亚马逊云科技希望能让这一过程变得更简单易行。

为此，亚马逊云科技在会上宣布在 Amazon Bedrock 中推出模型蒸馏功能。相比于被蒸馏的模型，新模型的运行速度能够提升 500%，成本还能降低 75%，并且用户只需要将应用的示例发给 Amazon Bedrock，后者会帮用户完成所有的剩余工作。

不过，获取合适的模型只是第一步，用户最终的目的不是为了获取一个好的模型，而是要让 AI 应用能够输出足够有价值的结果。完成这一步不仅需要好的模型，也需要让企业过去积累的数据发挥作用，这也才能真正让企业构建未来的差异化竞争优势。

Amazon Bedrock 此前已经上线了相关的 RAG（检索增强生成）功能，最新发布了更进一步的 GraphRAG（图像检索增强生成）。

但要真正实现这一目标，企业首先需要做好数据治理。这是一个先决条件，只有在确保数据质量和管理完善的基础上，各类数据才能在增强大模型能力的过程中发挥最佳效果。

为此，亚马逊云科技今年在数据治理领域推出了众多新产品，包括新型数据管理工具 Amazon S3 Tables 和便于数据查找的元数据工具 Amazon S3 MetaData。此外，亚马逊云科技还进一步加强了数据系统与 Amazon Bedrock 和 Amazon SageMaker 等开发系统的整合，使开发者仅需在一个系统内进行简单的拖放操作，就能轻松实现 RAG（检索增强生成）等功能。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.578px;">无幻觉，1% 都不行

第四是大模型老生常谈的问题——幻觉。实际上今天阻碍人们将生成式 AI 引入真正的生产环境（尤其是关键任务相关的应用场景）的，还有一个很多人都担心的问题，那就是模型的幻觉现象。

尽管如今的模型已经表现得很不错了，但有时还是会出错。当你在去年或者前年进行概念验证时，90% 的准确率或许还能接受，但当涉及到生产应用程序，深入到具体细节时，这样的准确率就不行了。

以保险行业为例，假设你早上走进浴室，发现漏水了，地上全是水，然后你去保险网站查询这是否在保险赔付范围内，作为保险公司，如果客户询问这类事件是否能理赔，你必须给出准确无误的回答，这是绝对不能出错的情况。

所以亚马逊云科技召集了一组专业人员，思考是否有可以运用的技术，通过新的方式来帮助他们解决这个问题。这组人员研究了各种不同的技术，其中一种就是自动推理。

自动推理实际上是一种能够从数学角度证明某事正确的 AI 形式，通常被用于验证系统是否按照既定要求运行，当面对的系统覆盖面非常大，大到无法人工逐一查看，且有关于系统运行方式的知识库时，自动推理就能发挥很大的作用，在必须确保答案准确无误的情况下，它显得尤为重要。

会上，亚马逊云科技宣布推出自动推理检查功能（Automated Reasoning checks），它能够防止因模型幻觉而导致的事实性错误。当你启用这些自动化推理检查功能时，Amazon Bedrock 可以对模型所做出的事实陈述进行准确性检查，这一切都是基于可靠的数学验证，并且会向永不展示得出结论的依据。

例如一家保险公司，决定启用自动化推理检查功能，要做的就是上传所有的保单，然后 Amazon Bedrock 内部的自动化推理系统会自动生成相应规则，接着会经历一系列大概需要 20 到 30 分钟的迭代过程，来调整并确定正确的回应方式，它会通过向开发者提问等方式，真正搞清楚保单的具体运作机制。

回到之前浴室漏水的例子，自动化推理系统会查看反馈结果，如果模型对答案不确定，它会将相关情况返回，并给出其他提示建议，或者告诉客户可以怎样向模型补充信息，只有当自动化推理检查确保答案准确无误后，才会将结果发送给客户，这样就能百分之百确定发给客户的结果是准确的，这是在其他地方无法获取的功能，这将切实帮助企业用户在把推理功能融入关键任务应用程序时避免出现问题。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.578px;">能解决复杂任务

这点在过去几个月里逐渐成为全行业的共识。智能体 Agent 的出现，让企业用户可以非常简单的构建 AI 应用，这也是亚马逊云科技推出 Amazon Bedrock Agents 的原因。

Amazon Bedrock 让构建智能体以及创建能够在公司所有系统和数据中执行任务的智能体变得十分容易，通过使用 Amazon Bedrock，企业用户只需用自然语言描述想要智能体完成的任务，它就能快速构建出来，然后智能体便可以处理诸如处理销售订单、编制财务报告或者分析客户留存情况等任务。

目前这些智能体在处理简单任务（单个独立任务）时表现得很不错，客户也已经从 Amazon Bedrock 智能体中获得了不少收益。但亚马逊云科技团队收到的反馈显示，客户期望更多，他们希望能够跨多个智能体执行复杂任务，可能涉及数百个智能体并行操作，但在当下，要协调这么多智能体几乎是不可能的事。

举个例子，假如你经营着一家全球咖啡连锁店，想要创建一些智能体来帮助分析开设新店的风险，那你可能会创建一系列智能体，比如创建一个分析全球经济因素的智能体，一个查看相关市场动态的智能体，甚至还可以创建一个为独立门店做财务预测的智能体。

总的来说，你或许会创建十几个智能体来针对一个地点进行分析并返回相应信息，这本身是很有价值的。但当这些智能体返回信息后，你还需要将它们整合起来，分析它们之间的相互关系，然后再与不同地区的情况进行对比。

一般情况下，这样的操作还算可控，但经营者可能不会只考察一个地点，也许是想对数百个潜在的开店地点进行分析，而且这些地点还分布在不同的地理区域。当这样做的时候，你会发现这些智能体可能并非独立工作，智能体 A 所掌握的信息或许对智能体 B 是有价值的，所以你其实希望它们能够相互交互、共享信息。可一旦涉及到数百个智能体都要进行交互、返回数据、共享信息、再返回操作时，整个管理系统的复杂程度就会急剧上升，变得完全难以掌控。

但实现这样的功能，有巨大的商业价值，所以亚马逊云科技推出了多智能体协作功能 multi-agent collaboration，后者能够处理更复杂的工作流程。就像前面举的例子一样，经营者可以创建一系列专为特定个性化任务设计的智能体，然后再创建一个监督智能体，负责管理智能体访问信息的权限、确定任务是按照顺序启动还是并行进行，并协调处理各个智能体返回的信息，确保智能体之间能够有效协作。

金融数据分析公司穆迪评级与亚马逊云云科技展开了合作，并对这个早期版本进行了试用，开发了一个可以让客户生成全面的财务风险报告的应用程序。从结果而言，过去完成这样的工作需要花费一名员工大约一周时间，而使用了多智能体协作以后，仅用一个小时就能完成同样的任务，效率得到了极大的提升。

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.578px;">结语

今年的 re:Invent 无疑是一场令人震撼的盛会。不少已连续参与多届的企业客户、技术人员和工程师都用「震撼」来形容。甚至连已经离开亚马逊云科技数年的传奇 CEO 安迪·贾西——曾带领亚马逊走出困境的关键人物，也时隔多年再次登上了 re:Invent 的舞台。

前三天的活动里，亚马逊云科技发布了数十个生成式 AI 领域和云基础设施相关的新产品和技术，这些新产品中，单独拿出一两项往往便足以成为一场云服务公司大型发布会的核心内容。亚马逊云科技之所以选择在一场发布会上集中推出如此多的新功能，主要有两方面原因：一是当前 AI 应用企业面临的问题异常复杂，需要多维度、多场景的解决方案来应对；二是亚马逊云科技长期以来秉承的「客户至尚」文化，驱动其以全面的创新满足客户需求。

而这种高密度的发布也从侧面展现了亚马逊云科技在生成式 AI 领域的巨大资源投入和坚定的战略意图，表明其在这个迅速发展的领域中占据领先地位的决心。

即将到来的 2025 年，无疑将成为生成式 AI 在企业级市场大规模部署的关键节点。从今年 re:Invent 发布的众多应用和新功能可以看出，经过几年的尝试与探索，生成式 AI 的发展已经迈出了从早期试验阶段向产业落地的转变。这一阶段不再仅仅关注技术的可行性，而是开始聚焦于如何解决企业具体的业务需求和实际问题。

这些问题正被快速解决，标志着生成式 AI 不仅作为生产力工具的潜力被验证，更逐渐具备作为核心生产力的能力。换句话说，生成式 AI 已经逼近了「真正可用」的临界点，即从概念验证走向大规模应用的边缘。