|
1月23日，OpenAI推出了一项全新功能——Operator，这是一款能够自主使用浏览器完成任务的AI代理工具，现已向美国的Pro用户开放。（感觉我之前买的 Pro 值回票价！） 什么是Operator？Operator是一种基于新模型Computer-Using Agent (CUA)的研究预览版工具。它结合了GPT-4o的视觉能力和通过强化学习优化的高级推理能力，能够模拟人类操作浏览器的行为，包括点击、滚动和输入文本。 比如希望预订罗马的高评分一日游。通过Operator，你只需描述需求，它就能完成从搜索到选定「TripAdvisor推荐」最佳行程的全过程。这种能力的核心是Operator可以“看”网页并进行交互，而无需借助API集成。 Operator正在与多个知名公司展开合作，包括DoorDash、Uber、Instacart等，以优化任务执行效率。此外，它还探索在公共领域中的应用，例如协助居民更便捷地注册城市服务。 
Operator主要功能- 任务自动化：适合处理重复性的浏览器任务，如填写表单、订购商品甚至制作趣味表情包。
- 多任务管理：可以同时运行多个任务，例如在Etsy上定制马克杯的同时预订露营地。
- 自定义工作流：用户可根据特定网站设置个性化指令，比如在预订航班时优先选择特定航空公司。
- 任务接管与协作：Operator会在需要输入登录或支付信息时请求用户接管，确保操作安全且直观。
什么是CUA？作为Operator的核心技术，**Computer-Using Agent (CUA)**，代表了AI技术的新高度，能够像人类一样与图形用户界面（GUI）互动，为未来的数字世界打开了新篇章。而Operator则是CUA技术的首个落地应用。 CUA（Computer-Using Agent）是一个通用界面模型，结合了GPT-4o的视觉能力和强化学习训练的高级推理能力，能够通过观察和操作屏幕上的按钮、菜单和文本框等元素，与图形用户界面进行交互。这种能力不需要特定的API支持，使CUA可以直接使用人类日常使用的数字工具和网页。 CUA的关键能力包括： - 推理规划：通过“链式思维”生成多步骤任务计划，动态调整操作步骤。
- 执行动作：通过虚拟鼠标和键盘完成点击、滚动和输入等操作。
这使CUA能够在多样化的数字环境中执行复杂任务，例如填写表单、处理网页导航等，极大地扩展了AI的应用场景。 技术亮点CUA的背后凝聚了多模态理解与推理领域的多年研究成果： - 广泛任务能力：CUA能够在不同任务场景中切换，如处理网页表单或进行复杂的跨平台操作。
- 智能纠错与自适应：在遇到问题时，CUA能够进行动态调整，优化任务完成路径。
- 业界领先的性能指标：CUA在多个基准测试中表现出色：
- 在OSWorld中，CUA的完整计算任务成功率达到38.1%；
- 在WebArena中达到58.1%，在WebVoyager中高达87%。
评估与性能表现CUA在多个业界基准测试中刷新了记录，展现了其广泛适应能力： 
- 在WebArena（仿真真实网页环境）中，CUA成功率达到 **58.1%**。
- 在WebVoyager（真实网站测试，如Amazon、GitHub等）中，成功率高达 **87%**。
- 在OSWorld中（评估AI对操作系统的控制能力，如Windows和Ubuntu），CUA达到了38.1%的成功率，接近人类的 **72.4%**。下面??是和同行的对比。（可以比不过人类，但是不能比不过同行。）
CUA能够通过更多的操作步骤实现性能提升，但与人类的表现仍有一定差距，尤其是在更复杂的任务中。 试用我的pro账号终于排上了用场！！！ 我尝试着让 AI 帮忙安排一个去日计划~ 需要人工验证的时候就把我叫过去Take Control。 这个时候想起我了。。 | 
