返回顶部
热门问答 更多热门问答
技术文章 更多技术文章

Claude 3.5 新功能功能【AI操作电脑】上手体验,含喂饭教程

[复制链接]
链载Ai 显示全部楼层 发表于 昨天 11:41 |阅读模式 打印 上一主题 下一主题

昨晚 Claude 发了新的 SONNET 3.5,Haiku要月底。其中有两大非常值得看的亮点:AI操作电脑 和 编程能力大提升。

编程能力大提升有一篇单独的文章后续会发出,能做很多事情,感兴趣的小伙伴可以先关注我,今天就纯带大家看看怎么在自己电脑上把Claude 3.5的操作电脑给跑起来,体验体验。

准备工作

  • 一台电脑(我用的是Window,理论上能跑Docker都可以)

  • Claude 的官方Key(目前大多数中转是不支持的,我们在加紧对接)

Docker安装

然后,就正常安装就好了。完成之后本地打开,登陆上去之后,啥也不用管。左下角这边需要服务启动成功。

拉取镜像

Claude 官方给了个Demo(Python),可以直接拉取到本地跑起来。

anthropic-quickstarts/computer-use-demo at main · anthropics/anthropic-quickstarts (github.com)

代码拉取到本地后,在当前Python环境下安装依赖(建议3.11以上)

pipinstall-rdev-requirement.txt

然后,根据官方文档,设置环境变量,启动 docker。

考虑到有些朋友可能不太熟悉环境变量,所以这里建议不懂的朋友直接用下面我修改过的启动命令(key 可以启动后再设置)

dockerrun-v${env:USERPROFILE}\.anthropic:/home/computeruse/.anthropic-p5900:5900-p8501:8501-p6080:6080-p8080:8080-itghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

克神启动

等镜像拉取的时间,如果没啥意外的话,到这里就启动成功了。按照提示访问网页:http://localhost:8080

侧边栏有 key,填上去,就可以正常玩了。

体验

帮我写一个贪吃蛇游戏并且运行起来

  • 直接帮我装了Pygame 的库
  • 然后写代码,跑起来,全程大概1分钟

试试他能不能帮我玩这个游戏

试了一下,不太行,因为他是通过截图来获取当前信息的,虽然能操作,但是有时差哈哈。

其实每次判断完下一步要做啥的时候,已经死掉重新开局了。

帮我看看京东最近的大新闻

会正确打开浏览器,使用Google搜索

但是搜索的关键词有丢失 中间搜了好几个关键词,然后给出了一个结论

帮我把新闻整理到Excel里

说的是挺好的,但是创建标题行的时候就没分好(盲猜是坐标定位异常) 然后一条条把刚才的新闻给输入进去了 虽然但是,挺不容易的,在我现在的屏幕分辨率下,能在Excel中定位准确格子并且输入,是挺不容易的一件事情。

帮我去小红书找一下北非蛋的做法

这里异常报错卡住了,没有正确关掉上一个窗口,我重试一下

中间出登陆验证码了,人为辅助了一下 后面就一直限速了,任务失败

结论

  • 太卡了,没玩下去。一个可能是Streamlit的问题,导致页面交互数据多了就卡(不用考虑我电脑性能);

  • 交互还是很慢的。本质还是大模型通过tools来生成调用,基本操作如下

["key","type","mouse_move","left_click","left_click_drag","right_click","middle_click","double_click","screenshot","cursor_position"]

,所以一个任务需要的步骤很多,交互多了,也就慢了;

  • 费钱。大概玩了三个任务3.37刀出去了。

  • API权限太低了,一个任务懂不懂就limit了。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

链载AI是专业的生成式人工智能教程平台。提供Stable Diffusion、Midjourney AI绘画教程,Suno AI音乐生成指南,以及Runway、Pika等AI视频制作与动画生成实战案例。从提示词编写到参数调整,手把手助您从入门到精通。
  • 官方手机版

  • 微信公众号

  • 商务合作

  • Powered by Discuz! X3.5 | Copyright © 2025-2025. | 链载Ai
  • 桂ICP备2024021734号 | 营业执照 | |广西笔趣文化传媒有限公司|| QQ