搜索
首页
大数快讯
大数活动
服务超市
报告
跨企查
广告开户
APP
产业带
导航
知识体系
工具箱
产业园
更多
百科
找货源
跨境招聘
DeepSeek
首页
>
豆包手机助手能看屏幕、查相册和短信:它替你点手机时,到底能看到什么?
>
豆包手机助手能看屏幕、查相册和短信:它替你点手机时,到底能看到什么?
阿腾学AI
2026-09-27
5
导读:9月14日,豆包手机助手消费者版本发布。公开演示里,它能直接理解手机当前屏幕,也能按用户要求检索相册、短信和便签,还可以确认常用地址、选择车型并发起叫车。
9月14日,豆包手机助手消费者版本发布。公开演示里,它能直接理解手机当前屏幕,也能按用户要求检索相册、短信和便签,还可以确认常用地址、选择车型并发起叫车。
几天后,官方又回应了一个很现实的问题:为什么很多常用App还不能让它代操作?原因是“操作手机”仍处在Beta阶段。豆包同步推出了屏幕自动化操作声明协议,第三方App可以选择允许,也可以拒绝AI在自己的界面里点击和输入。
我把发布说明、公开回应和豆包现行隐私政策放在一起看,发现最容易让人误解的地方,是大家把“看懂屏幕”“查找本地信息”和“替人点击”混成了一件事。
这三件事,需要的权限并不一样。
手机AI助手到底多看了一步
第一层是“看”。
你正在浏览一个商品页面,过去要先截图,再把图片发给AI。现在可以直接问:“这个价格划算吗?”助手会结合当前屏幕继续回答。
发布视频里还有一个例子:用户把相机对着房间,让助手找一个尺寸和价格合适的柜子。它需要理解镜头里的装修环境,也需要读懂用户给出的尺寸、预算。
打个比方,这一层像你把手机举给身边的人看了一眼。对方看到了当前这一页,却不等于已经拿到整部手机里的全部内容。
第二层是“找”。
消费者版本提供本地数据搜索
工具
。用户问“港澳通行证什么时候到期”,助手可以在用户发出指令并允许相关访问后,从相册、短信、便签等信息里寻找答案。用户也可以手动保存当前屏幕,留作以后检索。
这更像让一个人去抽屉里帮你找文件。范围比看当前屏幕更大,里面也更容易碰到身份证照片、验证码、家庭聊天和工作资料。
第三层是“做”。
助手按照指令点击按钮、填写内容、提交任务,才进入代操作。豆包公布的例子包括添加多个日程、规划路线和发起叫车。第三方App能否操作,还要看对方是否接入或允许。
9月17日的公开回应称,规则公示期内,也就是10月15日前,未许可的应用暂时不能进行自动化操作。以后即便公示结束,第三方开发者仍可声明拒绝。
所以,“AI会操作手机”并不是一把万能钥匙。当前屏幕能不能读、本地内容能不能检索、某个App能不能代点,分别受功能开关、用户授权、手机型号和应用规则影响。
它会不会在后台把相册全翻一遍
公开资料没有证明豆包手机助手会默认扫描整部手机,也不能由“支持检索相册、短信”直接推导出“后台随意读取”。更准确的说法是:在用户调用相应功能、完成授权,并且当前机型和版本支持时,助手可以检索这些本地信息。
这里还有两份容易被混在一起的说明。
豆包此前针对手机助手回应,云端处理手机屏幕内容时遵循“不存储、不训练”,传输过程会加密。豆包App现行隐私政策谈的是更广的个人版
服务
:用户输入、指令和生成回复等内容数据,在去标识化等处理后可能用于产品分析和模型训练;不希望参与的用户,可以在“设置—隐私与权限—帮助模型改进效果”里关闭。
前一份说明针对手机助手处理的屏幕内容,后一份覆盖豆包个人版的内容数据。两者处理的对象和使用场景不同。看隐私说明时,先确认它管的是哪项功能,比只记住一句“会训练”或“不会训练”更靠谱。
把手机交给AI前,先确认四件事
如果你准备使用这类手机助手,可以先做四个检查。
一,调用屏幕问答前,看一眼当前页面。聊天窗口、工资单、身份证、病历和公司内部文件,不适合顺手交给AI阅读。
二,使用本地检索时,确认它要找什么。查一张车票和检索整段短信,涉及的信息范围差很多。能缩小检索范围,就别把整个抽屉都打开。
三,付款、转账、发帖、提交申请这类动作,保留人工确认。AI可以填内容,最后一步由自己看一遍。金额、
收款
人和公开范围尤其要核对。
四,用完后检查授权和记录。看看哪些系统权限已经打开,保存了哪些“记忆”,不用的内容能否删除。产品升级后,也值得重新看一次权限说明。
阿腾的看法
手机AI助手好不好用,不能只看它能替人点多少次屏幕。
我更在意四个细节:它在动手前有没有告诉我将读取什么;做到哪一步会停下来等我确认;出错后能不能撤回;保存过的内容能不能找到并删除。
以前的AI只接触你主动发出去的一段文字。现在它开始读当前屏幕、查本地资料,还可能在别的App里替你完成动作。方便当然更进一步,授权也该跟着具体起来。
以后看到“AI能接管手机”这类说法,可以先拆开问:它只是看见这一页,还是能翻出本地资料?它只给建议,还是已经准备点击提交?
把这两句话问清楚,很多没必要的恐慌会消失,该认真防的权限也不会被一句“我已同意”轻轻带过。
【声明】内容源于网络
0
0
阿腾学AI
阿腾学AI,专注AI落地项目实战。用真实案例讲清楚AI怎么做成系统、流程和生意。
内容
108
粉丝
0
关注
在线咨询
阿腾学AI
阿腾学AI,专注AI落地项目实战。用真实案例讲清楚AI怎么做成系统、流程和生意。
总阅读
1.7k
粉丝
0
内容
108