链载Ai

标题: 一手实测豆包手机助手,这就是当今手机Agent的天花板。 [打印本页]

作者: 链载Ai    时间: 昨天 22:43
标题: 一手实测豆包手机助手,这就是当今手机Agent的天花板。

就在刚刚,豆包的手机助手,终于发布了。

快憋死我了。

上周其实豆包的朋友,就跟我说说有个很有意思的新东西,想不想测试一下。

我说那必须要啊。

她就神奇的问我:

然后我就拿到了一台个非常有趣的东西,豆包手机助手,不过还是技术预览版。

载体是一个跟中兴合作的工程样机。

为了让我们体验豆包手机助手,直接现搓的。

我当场献上我的膝盖。。。

在拿到以后,我就,把我的备用机上的所有的数据和微信都移过去了,在深度使用一周,我想说,这玩意,真的没有辜负我的预期。

这就是一个,基于大模型能力的,真正的AI手机助手。

苹果的apple intelligence还是个饼,但豆包真正意义上的先来了。

十几年前乔布斯心中的siri,在这一刻,我觉得才真正的具象化了出来。

先给大家看看,这个豆包手机助手,在手机里,能干出什么花活。

比如,下载手游的时候,它不仅能够帮我下完游戏,还能把游戏内部的安装包也一并给我下了。

就像这样。

视频我快放了一下,整个过程大概花了七八分钟。

我为了演示,给你们录了下载的全过程。

但实际用的时候,豆包手机助手,就一个超级牛逼的一点。

就是它每一次执行任务,全部是后台运行的,不会抢占你的手机操作界面,运行状态是吸附在顶部的灵动岛里。

也就是说,这七八分钟里你完全可以继续刷手机,它就在后台下载,你俩井水不犯河水,不用再当心游戏下安装包的时候需要一直在那挂着等它下完了。。。

整个过程中我只在用户协议与隐私政策那里手动点了一下,这种信息肯定还是得自己确认。但其他的,我一点都没动。

就,真的很省事儿。

也可以随口和豆包说一句话,让它帮你找个歌单放歌。


更好玩的是,我发现它居然还能进小程序里玩小游戏,比如玩合成大西瓜,虽然说玩的让人看着有点脑溢血,但是确实能玩起来。


还能跨APP,做各种复杂的操作。

比如,拿我自己的一个高频场景打车来举例。

虽然,在知道目的地的情况下,自己打开滴滴叫车是最方便的。

但是我大部分的场景都是,不知道目的地。。。

经常是有人几天前和我约好了个什么事儿的时候,给我发了一个定位。

几天后我要出发了,去聊天记录里kuku一通翻,再把这个定位输入到打车软件里。

很麻烦。。。

但我现在就可以直接跟豆包说,前几天我和谁谁约在哪个地方来着?帮我打开微信看一眼,然后给我打个车。

点进豆包就能看到它正在一步步执行,先是打开微信,然后找到聊天记录里的地址,再然后打开滴滴,把地址粘在终点一栏。

到了我这儿,需要的就只是付款了。


这,就是豆包深度集成进手机系统以后的能力。

在我这几天测试下来,任务成功率高到离谱,只要你把你的需求表达准确,成功率基本都在80%以上。

这是我用了一圈安卓手机以后,操作手机能力最牛逼的,没有之一。

说真的,毕竟是豆包,在模型能力上,特别是在图形界面操作能力上,真的强的离谱。

说说豆包手机助手怎么用。

首先,因为现在各大厂家的限制,几乎没有办法用rom包刷机了,而且这种级别的手机助手,也不是一个普普通通的APK安装包能搞定的。

所以,豆包也悄悄上架了他们跟中兴合作的一个手机,主要就是为了让大家体验到豆包手机助手。

感兴趣的朋友,可以去豆包手机助手的官网:https://o.doubao.com/

我其实非常希望各大手机厂商,能跟豆包合作,把豆包手机助手接进去,说实话,这种Agent能力,还是得AI厂商自己干才行。。。

当你拿到手机之后。

在系统-设置里找到豆包智能,然后点击开启豆包助手,就OK了。

然后,你就可以正常在屏幕上打开豆包。

或者用手机上定制的AI键直接打开。

这个时候,你就会发现底部最左边多了一个操作手机的按钮,这就说明,你的豆包手机助手已经打开了。

你可以直接文字输入你的需求,也可以语音对话。

打开豆包助手之后,你也就可以继续在设置里,自定义快捷键,录声纹,开启语音功能等等等。

即使你的手机现在是息屏状态。

你也可以或者隔老远喊一声豆包豆包,把豆包给召唤出来。

因为这是系统级别的手机助手,所以也可以做声纹鉴别,只有你的声音才能唤醒豆包,这个用过siri或者小爱同学的都肯定很熟了。

这个地方,甚至还可以跟我去年搞得那个豆包的耳机ola friend联动。

图片

即使手机在兜里,也可以喊豆包豆包叫它干活,很骚。

到了这里,豆包该设置的部分就弄完了。

现在,豆包就可以随叫随到了。

你可以直接跟它对话,让它来操作你的手机。

在之前,给大家看了一个比较骚的跨APP打车的case。

还有一个我自己觉得非常实用的场景,就是经常有人在微信里跟我约时间和地点,因为我事情太多了,所以要把这些行程,加到我的飞书日历里,进行统一管理。

因为正常我们约行程,其实经常不是一次就完事了,比如我会问,明天1点行不行,对方可能会说,明天1点不行,我有会,2点行不行。

我说2点不行,我也有会,我只有后天下午4点到6点之间的时间了,然后对方说,那也行,那就5点。

而这个5点,其实是后天下午5点。

传统的微信提醒是完全做不到这个带有上下文的语义理解的,它甚至会以为,你这个是今天下午5点,而且完全没有办法录到飞书里。

而我的日历,完全是靠着飞书日历的,因为我行程太满了,这样能跟公司同事共享。

而现在,豆包手机助手,就可以完美的解决这个问题。

无敌,我只能说,豆包无敌。

除了这个实用的之外,我们完全可以,玩一个更骚的。

那就是:

让豆包把你朋友发在群里的丑照保存到相册,把丑照P成搞笑表情,再把这个表情包发给你朋友。

然后你们就可以展开,无限斗图。。。

我录了个屏,你会发现这个任务的链路其实很复杂,要先去微信找到正确的群聊保存图片,再去豆包P图,把P好的图保存下来,最后再回到微信,把图发到刚才的群里。


在任务执行的时候,都是缩在灵动岛里的,所以不会抢占你的手机屏幕,这时候你想干啥都行,如果你想看豆包是怎么一步一步操作你的手机的,你就可以进入豆包的界面,然后点具体任务,就能看到了。

说实话,这个case我做的时候还挺提心吊胆的,就怕万一把图发到别的群里,那我就可以直接社死了。

不过好在豆包真的很靠谱。

它不仅执行了整个任务的框架,而且连保存原图和发送原图这样的小细节也没错过。

看到这两张图我又想起了直播的时候,喝下白花蛇草水的夜晚。。。

一切尽在不言中。。。

当然除了搞抽象,还可以干一些非常实用的事。

比如,当我想给朋友寄东西的时候,朋友就会把地址发给我,然后我需要复制他的地址,再打开京东快递或者顺丰,或者是淘宝,再把这个地址手动填到淘宝或者美团里,超级麻烦。

朋友要给我寄东西的时候也是一样。

现在就可以让豆包把这些地址都给我粘过去了。


另一个我很喜欢的功能,是豆包可以设置定时任务。

这对于收蚂蚁森林能量、起点小说打卡签到这种重复操作,就非常降维打击了。

设置一个定时任务让它每天帮你执行,它就可以,吭哧吭哧地去给你当赛博打工人。


而且我是为了让大家方便看,所以把页面调了出来,其实正常是完全后台的,你完全无感,但是,就自动帮你做了。

这个定时功能,还能用来每周约一次保洁,都不需要下APP,豆包是可以自己操作小程序的。


直到最后一步手动完成支付这里,才需要我来操作,前面的部分,我一概都不用管。

真的非常懒人友好。

甚至我还可以用这个定时功能吃新鲜热乎的瓜。

比如最近老罗和华与华的新一波恩怨。

我直接让豆包每天都给我去微博上转一圈,把罗永浩相关的新闻都总结一番。


然后,我点进任务栏,就能看到它每次给我汇总的信息。

整个用下来,我的感觉是,虽然豆包也还是有着市面上手机助手共同存在的问题,就是,提示词要输入的很详细才行。

比如你不能跟它说,去给我点个豚骨拉面吧。

这种情况下,它不一定会直接给你点外卖,也可能会一脸懵逼地打开淘宝网购,在上面开始搜索豚骨拉面。

你得和它说,给我去美团/淘宝闪购/京东秒送上面,一家有具体名称的店里,点一个有具体名称的食物。

这样,它才能给你搜到。

但是,瑕不掩瑜,它确实是我用过的agent也罢,手机助手也好,用着最顺手的一个。

一方面是它的使用过程,几乎可以用无感来形容。

除了闪烁的屏幕和弹出的提示之外,你很难感知到手机后台还有一个助手在做事,该玩手机还是玩手机,不会有任何卡顿。

另一方面,它的成功率也真的很高,几乎可以达到80%甚至是90%的程度,泛化能力强的离谱。

只要你给它的指令足够详细和具体。

所以在绝大部分时候,它不是我们之前印象里那种执行一步要请示三次的人工智障,它是一个真的直接可用的,AI助理。

尤其是在手机这个场景。

在手机上用agent和在电脑上用agent,还不太一样。

面向电脑的场景,往往都是和生产力相关的,也不一定是即时性非常强的需求,所以,对于agent的响应快慢、是否卡顿、是否出错,容错率其实会相对高一些。

而手机的场景正好相反,大部分情况下就是一个即时性需求冒出来,但又不想自己手动去解决,想要用agent迅速解决。

所以手机agent主打的就是一个短平快,像贾维斯一样随叫随到,随时都拥有解决问题的能力。

而这一点,我不敢说豆包已经做到了,但我可以说,豆包已经走到了中段。

后面的路上还有一些更难啃的骨头,属于用户隐私安全、软硬件的融合,等等等。

但我相信,未来的手机助手市场,终于又会有一些新的血液进入。

它的名字,叫豆包。






欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5