当你有一台大模型一体机——我们基于AI的测试知识库、智动化流程、及产品智动演示

内容提要

本文分享了我们在LLM大模型应用领域的创新实践。借助自主研发的大模型一体机，我们构建了私域测试知识库，改造了智动化提单流程，并部署了一套AI驱动的智动化项目--该项目能根据随机需求自主完成一系列浏览器操作，实现Web智动化测试和产品智动化演示。

Hello 大模型

随着技术的飞速发展，大模型及AI应用已成为企业数字化转型的新趋势。这一变化，不仅仅是对技术的追求，更是对未来的布局。在OpenAI的引领下，各类大模型层出不穷，基于AI的应用如雨后春笋，不少企业纷纷提出All in AI的战略，试图在这场数字化革命中抢占先机。

然而，大模型技术的驾驭并非易事。高昂的学习成本、硬件成本、平台搭建成本，以及复杂的研发流程，让许多企业望而却步。如何在有限资源下，快速掌握和应用AI技术，成为企业面临的一大挑战。

我们看到了这样的需求，也感受到了这样的挑战。作为云计算和基础设施平台的深耕者，我们深知大模型技术对于企业的重要性。因此，我们投入了大量精力，研发了大模型一体机，旨在为企业提供一套软硬件一体化平台，简化大模型操作，降低企业门槛。大模型一体机，它来了！

我们云测实验室在这个平台上实践了若干AI应用场景，包括“基于大模型的测试知识库”、“基于提示词工程的智动化流程”、以及“基于AI Agent的智能产品演示”等，均展现了大模型一体机的强大机能和便利性。

基于大模型的测试知识库

本节中，我们的目标是基于大模型一体机，搭建一个私域知识库，帮助测试人员快速掌握新产品新功能的业务场景、客户诉求、技术细节。测试人员无需再花费大量时间学习，而是通过知识库系统，迅速了解被测对象的基本使用方法，完成测试环境的搭建、配置和调试。当遇到问题时，知识库能够提供专家级经验和建议，帮助测试人员高效分析和解决问题。

相较于ChatGPT，我们能放心将涉及商业机密和客户隐私的部分数据输送给私域知识库，能根据自己的业务场景和客户需求对知识库进行定制和优化、并保持更新。借助大模型一体机，私域知识库的部署和使用变得轻松而高效。

知识库创建和知识管理

知识库的发布和使用

基于提示词工程的智动化流程

我们知道提示词工程是一种基于AI的智能交互技术，通过分析用户的问题描述，自动生成解决方案。典型场景包括客服、在线问答等。本节中，我们尝试应用提示词工程，让AI来帮我们处理各种工作流程。

我们将利用大模型一体机内置的应用开发平台，打造了一个智能提单流程。该流程能够借助提示词工程理解测试人员提交的问题描述，并转化为一定的输出格式。它将识别模块、操作、问题、现象等，并自动在问题单数据库中搜索是否存在同类重复问题。若存在则返回问题单编号及描述，若不存在则将问题描述转化为JSON格式并提交至问题单平台。

创建和调试提示词模板

应用开发平台创建和编排流程

在流程编辑器中关联提示词模板

调试测试并发布流程流程调试过程中，我们将检查流程的每个节点，确保能够套用提示词模板处理数据输入，生成符合预期的JSON输出并流转至下一节点。遗憾的是，由于问题单数据库在版本测试期间频繁更新，我们尚未掌握动态更新大型模型问题单记忆的技术，因此流程无法准确识别重复提交的问题。我们正在研究此问题，并将在未来进行改进。

基于AI Agent的产品智动演示

我们不仅期待AI能够进行知识库问答和特定领域的AIGC，还希望它能像智能机器人一样，自主完成各种任务。

例如，当测试人员提出一个测试目标或演示需求时，AI能够理解我们的意图，并自主地访问目标网站、登录系统、点击菜单、输入表单、获取数据，并反馈结果。整个过程无需人为介入，也无需事先准备各种自动化脚本，真正实现了智动化执行。让我们直接通过Demo来展示这一能力（注意Demo中“执行任务”之后的所有动作，均由AI自主完成）：

该项目名为Skyvern，是Github上一个基于LLM和计算机视觉的浏览器自动化方案。作为一类AI Agent应用（注：AI Agent是一种能够感知环境、进行决策和执行动作的智能实体），其实现原理为：首先，使用Playwright工具作为“手”，负责执行浏览器操作，如页面导航、点击、输入等。与此同时，SoM视觉标记作为“眼睛”，帮助识别页面元素，确保自动化流程的准确性。最后，LLM大模型作为“大脑”，负责理解用户需求，规划操作步骤，并协调“手”和“眼”完成一系列复杂的浏览器操作，实现高度智能化的自动化流程。

Github上还有许多类似的AI Agent初创项目，我们可以打开想象力，持续调研和实践各类基于LLM大模型的AI应用。而大模型一体机为这些AI应用的孵化提供了有力支撑，我们能够快速实现各类AI应用的接入和调试，支撑AI应用从研发到发布、部署再到商用的完整流程：

创建大模型实例并获取API接口

AI应用对接私域大模型API为了让AI Agent对接到我们的私域大模型，通常需要阅读AI Agent源码，定位Agent与LLM交互的那部分代码和逻辑，并对其进行一些改造，例如引入LiteLLM库来代理Agent到LLM的API调用（注：LiteLLM是一个用于管理LLM大型语言模型的Python库。它支持多种LLM提供者，如OpenAI、Anthropic、VertexAI等，并能够通过Custom API Server与自定义的大模型API进行对接）。本例中，我们即使用LiteLLM的Custom API Server功能来对接我们的私域大模型API，改造代码示例如下：

AI应用的打包发布和部署上线

总结和展望

大模型一体机不仅为我们的AI应用和场景提供了丰富的可能性，还激发了我们对未来创新的无限憧憬。我们正不断开发新的AI应用场景，包括多模态大模型生成测试用例、Code大模型分析代码缺陷，以及部署AI编程助手以提升产品开发效率。

目前，我们的大模型一体机已正式发布，并有效支持了我们的AI创新实践，如打造智动化流程、实践基于AI Agent的全智能测试等。敬请期待其正式面市，与我们一同探索AI的无限可能！关注我们的官方公众号，了解更多。

END

往期推荐

AI辅助测试脚本开发？CodeWhisperer值得一试！

2024-03-31

人工智能时代，我们的Web自动化测试如何识别图形验证码？

2023-05-31