|
随着人工智能技术的飞速发展，图形用户界面（GUI）智能体逐渐成为人机交互领域的重要研究方向。MAI-UI作为阿里通义实验室推出的全尺寸GUI智能体基座模型，凭借其卓越的性能和创新的技术架构，为下一代人机交互提供了强大的支持。
一、项目概述
MAI-UI是一个覆盖从2B到235B-A22B全尺寸的GUI智能体基座模型家族，具备用户交互、工具调用和端云协同三大核心能力。它通过自主进化数据管线和大规模在线强化学习技术，实现了模型在复杂场景中的持续进化，适用于多种真实世界的应用场景。
二、核心功能
（一）用户交互
MAI-UI能够主动与用户沟通，当指令模糊时，它会提问澄清关键信息，确保任务执行符合用户意图。这种交互能力使它在处理复杂任务时更加精准，避免因指令不清晰而导致的错误，提升用户体验和任务成功率。
（二）工具调用（MCP）
通过Model-Callable Protocol（MCP），MAI-UI可以直接调用外部工具，将复杂的UI操作简化为高效的API调用。这不仅提高了任务执行的效率，还扩展了模型的功能范围，使其能够处理更多种类的任务。
（三）端云协同
MAI-UI设计了端云协同架构，本地轻量模型负责日常任务，复杂任务可无缝切换至云端模型。这种架构在保障用户隐私和数据安全的同时，提升了性能，实现了资源的高效利用。
（四）任务执行
MAI-UI在多种操作系统中实现高效的GUI任务自动化，支持跨应用操作和复杂场景下的任务规划。它能够根据用户指令，精准地完成一系列复杂的任务操作，大大提高了工作效率。
（五）动态环境适应性
面对真实环境中的弹窗、广告、UI变化等干扰，MAI-UI能够自主回退或重新定位，确保任务连贯性。这种适应性使它在动态变化的环境中依然能够稳定运行，表现出色。 三、技术揭秘
（一）自主进化数据管线
MAI-UI采用自主进化数据管线，将用户交互、MCP工具调用等多维度数据集成到训练过程中。通过人工标注和模型自动生成高质量的训练数据，数据管线能持续更新，使模型在复杂场景中不断进化，提升对真实任务的理解和执行能力。
（二）大规模在线强化学习
模型通过大规模在线强化学习提升泛化性和稳健性。在动态环境中进行训练，支持超长轨迹（最长50步）和动态扰动注入机制（如弹窗、权限、UI偏移），使模型能适应真实GUI任务中的各种干扰，确保任务执行的连贯性和成功率。
（三）端云协同架构
MAI-UI设计了端云协同架构，轻量级本地模型作为“轨迹监控器”，实时判断任务执行路径是否偏离用户意图。当任务在端侧卡住且不涉及隐私信息时，系统会触发云端模型接力，确保任务顺利完成。同时，涉及隐私的操作始终在本地执行，保障用户数据安全。
（四）多模态交互能力
基于多模态大语言模型（如Qwen3-VL），MAI-UI实现对GUI界面的视觉感知和语言理解。模型支持多种操作，如点击、滑动、输入等，能完成复杂的任务序列，从而在多种操作系统（如手机、电脑、网页）上实现高效的GUI任务自动化。 四、应用场景
（一）家庭生活场景
在家庭生活中，MAI-UI能够根据日历中的待办事项，主动提示用户是否需要购买车厘子、洗衣液等物品。它还能帮助用户管理购物清单，确保不会遗漏重要物品，让家庭购物更加便捷高效。
（二）办公场景
在办公环境中，MAI-UI可以协助用户处理文件，例如查找并发送简历文件给HR同事，同时主动询问关键信息以确保任务顺利完成。它还能帮助用户规划出差行程，同步重要信息到工作群组，提升工作效率。
（三）出行场景
用户可以要求MAI-UI规划从一个地点到另一个地点的最优路线，并将结果记录在笔记中。它能够快速分析交通状况，选择最合适的出行方式和路线，帮助用户节省时间和精力。
（四）社交场景
在社交群组中，MAI-UI可以同步重要信息，例如到达时间、在群内@相关人员等。它还能根据用户的日程安排，自动提醒用户参加社交活动，确保信息及时传达。
（五）学习与教育场景
用户可以要求MAI-UI打开学习平台，找到指定课程，并记录课程中的重点内容。它还能根据用户的学习进度，推荐相关的学习资料，帮助用户更好地复习和巩固知识。
五、快速使用
（一）环境准备gitclonehttps://github.com/Tongyi-MAI/MAI-UI.gitcdMAI-UIpipinstall-rrequirements.txtpipinstallvllmtransformers （二）启动模型服务
从HuggingFace下载模型（需接受协议）： python-mvllm.entrypoints.openai.api_server\--modelTongyi-MAI/MAI-UI-8B\--served-model-nameMAI-UI-8B\--host0.0.0.0\--port8000\--tensor-parallel-size1\--trust-remote-code （三）运行定位Agent示例frommai_uiimportMAIGroundingAgentagent=MAIGroundingAgent(llm_base_url="http://localhost:8000/v1",model_name="MAI-UI-8B",runtime_conf={"history_n":3,"temperature":0.0,"max_tokens":2048,},)screenshot="path/to/phone_screen.png"instruction="点击蓝色的发送按钮"result=agent.ground(screenshot,instruction)print(f"目标坐标:{result.coordinates}")（四）运行导航Agent示例frommai_uiimportMAIUINavigationAgentagent=MAIUINavigationAgent(llm_base_url="http://localhost:8000/v1",model_name="MAI-UI-8B",runtime_conf={"history_n":3,"temperature":0.0,"max_tokens":2048,},)task="打开开发者选项中的USB调试"agent.execute(task,environment="android_emulator")六、结语
MAI-UI凭借其强大的功能和创新的技术架构，为GUI智能体的发展树立了新的标杆。它不仅在多个权威评测中取得了优异的成绩，还通过端云协同架构和动态强化学习技术，显著提升了模型在真实场景中的实用性和鲁棒性。随着技术的不断进步，MAI-UI有望在未来的人机交互领域发挥更大的作用，为用户提供更加智能、便捷的交互体验。 | 
