2025年，GUI Agent（Graphical User Interface Agent，图形界面智能体）已成为AI领域最火爆的方向之一。它让大模型不再只是“聊天机器人”，而是能真正“看懂”屏幕、理解界面、模拟人类操作（如点击、滑动、输入）的Agent。标志性事件是字节跳动推出的豆包手机（与努比亚合作，基于Z70 Ultra系列工程机），首发3万台瞬间售罄，二手价翻倍。这款“全球首款系统级AI手机”将GUI Agent深度嵌入操作系统，实现跨App自动化任务，如一句话规划旅行、比价下单、点外卖等，彻底颠覆了手机交互范式。
豆包手机的核心，正是字节的UI-TARS系列技术——纯视觉端到端GUI Agent，已迭代到UI-TARS-2，支持从GUI操作到代码执行、API调用的混合动作流。
传统自动化（如RPA）依赖脚本，脆弱且不灵活。多模态大模型（VLM）兴起后，GUI Agent通过“截图输入 + 推理 + 动作输出”实现通用自动化。主要挑战：屏幕感知、动作grounding、长序列规划、跨平台兼容。
典型架构（如图所示）包括感知（屏幕解析）、规划（任务分解）、执行（模拟点击/输入）、反思（错误纠正）模块。
2025年，强化学习（RL）、多Agent协作、纯视觉端到端成为主流趋势，开源模型层出不穷，推动从桌面/手机到多设备编排。
| 核心定位 | |||
| 输入模态 | |||
| 模型规模 | |||
| 动作空间 | |||
| 规划机制 | |||
| 亮点进展 | |||
| 开源程度 |
阿里路线强调多Agent分工：GUI-Owl作为基础VLM，统一感知-推理-执行；Mobile-Agent-v3则实例化多个角色Agent协同长任务。
2025年更新：支持云端虚拟环境自演化数据飞轮，RL调优后在多基准领先。
字节坚持端到端纯视觉路线，无需外挂工具链。UI-TARS-2解决数据扩展、RL稳定、环境鲁棒性问题，支持GUI+代码+API混合。
实际效果：豆包手机上，AI Agent像真人一样操作屏幕。
微软从Windows出发，UFO³推出Galaxy框架，实现异构设备（Windows/Linux/Android）Agent 协调。
结合OmniParser纯视觉解析，适合企业级复杂工作流。
2025年底，GUI Agent已从原型走向产品。开源生态繁荣（Awesome-GUI-Agent列表超百篇论文），端侧部署（2B~7B模型）成为可能。挑战仍存：隐私（屏幕读取）、幻觉、长任务稳定性。未来可能融合A2A（Agent-to-Agent）路线，实现更安全生态。
GUI Agent正重塑人机交互：从“说”到“做”，AI终于长出了“手”。2026，我们或许会看到真正通用设备Agent，解放双手，改变生活。
| 欢迎光临 链载Ai (http://www.lianzai.com/) | Powered by Discuz! X3.5 |