链载Ai

标题: Claude 3.5 新功能功能【AI操作电脑】上手体验,含喂饭教程 [打印本页]

作者: 链载Ai    时间: 昨天 11:41
标题: Claude 3.5 新功能功能【AI操作电脑】上手体验,含喂饭教程

昨晚 Claude 发了新的 SONNET 3.5,Haiku要月底。其中有两大非常值得看的亮点:AI操作电脑 和 编程能力大提升。

编程能力大提升有一篇单独的文章后续会发出,能做很多事情,感兴趣的小伙伴可以先关注我,今天就纯带大家看看怎么在自己电脑上把Claude 3.5的操作电脑给跑起来,体验体验。

准备工作

Docker安装

然后,就正常安装就好了。完成之后本地打开,登陆上去之后,啥也不用管。左下角这边需要服务启动成功。

拉取镜像

Claude 官方给了个Demo(Python),可以直接拉取到本地跑起来。

anthropic-quickstarts/computer-use-demo at main · anthropics/anthropic-quickstarts (github.com)

代码拉取到本地后,在当前Python环境下安装依赖(建议3.11以上)

pipinstall-rdev-requirement.txt

然后,根据官方文档,设置环境变量,启动 docker。

考虑到有些朋友可能不太熟悉环境变量,所以这里建议不懂的朋友直接用下面我修改过的启动命令(key 可以启动后再设置)

dockerrun-v${env:USERPROFILE}\.anthropic:/home/computeruse/.anthropic-p5900:5900-p8501:8501-p6080:6080-p8080:8080-itghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

克神启动

等镜像拉取的时间,如果没啥意外的话,到这里就启动成功了。按照提示访问网页:http://localhost:8080

侧边栏有 key,填上去,就可以正常玩了。

体验

帮我写一个贪吃蛇游戏并且运行起来

试试他能不能帮我玩这个游戏

试了一下,不太行,因为他是通过截图来获取当前信息的,虽然能操作,但是有时差哈哈。

其实每次判断完下一步要做啥的时候,已经死掉重新开局了。

帮我看看京东最近的大新闻

会正确打开浏览器,使用Google搜索

但是搜索的关键词有丢失 中间搜了好几个关键词,然后给出了一个结论

帮我把新闻整理到Excel里

说的是挺好的,但是创建标题行的时候就没分好(盲猜是坐标定位异常) 然后一条条把刚才的新闻给输入进去了 虽然但是,挺不容易的,在我现在的屏幕分辨率下,能在Excel中定位准确格子并且输入,是挺不容易的一件事情。

帮我去小红书找一下北非蛋的做法

这里异常报错卡住了,没有正确关掉上一个窗口,我重试一下

中间出登陆验证码了,人为辅助了一下 后面就一直限速了,任务失败

结论

["key","type","mouse_move","left_click","left_click_drag","right_click","middle_click","double_click","screenshot","cursor_position"]

,所以一个任务需要的步骤很多,交互多了,也就慢了;






欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5