这个项目作者是钟二信，前豆包桌面端产品经理，也做过Teambition和飞书智能伙伴的设计师。他把过去在产品设计上对“人机协作”的理解，做成了这个能动手操作手机的工具iPhone Use，在github上已经收获3.6k stars。
装上这个开源项目，用户可以用自然语言描述任务，AI就能自己打开App、读懂页面、点击、滑动、输入文字、整理列表，电脑侧边栏可以实时展示手机屏幕。
现在这个项目已经可以稳定满足各种常用APP的操作，刷微信朋友圈、总结微信群聊、去淘宝里下单买东西、点个美团外卖、发篇小红书帖子都能干。
马上不是要进入双十一购物季了，各个平台的国补、满减、优惠券、积分兑换规则越来越复杂，光研究怎么买最便宜，可能就得折腾半天。
于是，项目作者干脆把这件事交给iPhone Use。
AI一通操作之后，居然发现他的拼多多账户里还有不少积分可以兑换优惠券。
这波直接帮他省下了99元。
还有那些跨App的“脏活累活”也可以交给iPhone Use。
比如每个月打开微信、支付宝、信用卡App，把散落在不同地方的账单明细找出来，再汇总成一份消费报告。过去自己做，不仅要来回切App、翻记录，还得担心重复和遗漏。现在可以进一步让它统一整理、交叉去重，就是时间会比较长。
还有网友尝试让iPhone Use处理手机里拍好的几件闲置物品，直接帮忙上架闲鱼，最后真的卖出去了。
项目开源之后，社区很快开始给它扩展各种玩法。
iPhone Use最初主要面向Codex，后来其他开发者陆续把这套能力接到了更多Agent上。
开发者Shunpu Tang提交PR，让豆包工作和WorkBuddy也支持了iPhone Use，相关代码随后被作者合并。
另一位开发者Lord Andy™则进一步动手改造，让iPhone Use可以运行在Hermes Agent里。
01
把AI的“眼睛”和“手”接到
真实的iPhone上
iPhone Use使用WebDriverAgent（WDA）与iPhone通信，包含本地MCP服务、安装与使用技能，以及实时屏幕 widget。
它优先复用现有连接与构建。控件定位失败时，会指导模型查看截图并尝试坐标点击。
遇到密码、验证码、Face ID等身份认证环节时，AI会暂停操作，提示用户在手机上完成认证，之后再继续执行任务。项目还强调将内容输入与最终提交分开处理。对于发送消息、提交订单等操作，AI需要先核对接收人、商品数量、金额等关键信息，再执行后续步骤，并检查最终结果。
项目作者在产品设计上围绕“自然语言描述任务—AI观察并行动—人随时可以接管”这条闭环来设计。
将微信点击做了针对性优化，已知导航目标可以直接看图点击。AirDrop文件传输也有了技能指引，方便把手机里的图片、视频和文档传回Mac。这些细节让iPhone Use能真正用在日常场景里，不只停留在演示阶段。
02
安装教程
iPhone Use目前主要面向Mac和iPhone用户。
正式安装之前，需要准备一台Mac、一部通过USB连接的iPhone，并在电脑上安装完整版本的 Xcode，同时准备好 Python、Node.js 和 npm 等基础环境。
（1）如果使用 Codex，就把下面的安装提示词丢给它：
请帮我安装和配置 iPhone Use先读取仓库 README 和安装脚本，检查本机 Codex CLI、Python、Node.js、npm、完整 Xcode，以及通过 USB 连接的 iPhone。把项目放到合适的本机目录，运行 sh scripts/install.sh 安装插件。如果当前聊天还没有加载新工具，明确告诉我重连或新开聊天后继续。工具可用后读取 iphone-use-setup 技能，检查现有配置，优先复用已有 WDA。首次配置时发现我的设备，使用我自己的 Apple 开发团队和可签名 bundle ID，获取固定版本 WDA、配置签名、构建并启动，直到 pua_ready 返回 ready=true，然后打开手机屏幕。不要照搬作者的设备标识或签名信息。缺少依赖时说明具体缺项并帮助安装。Apple 账号登录、设备信任、开发者模式或解锁需要我操作时，告诉我明确步骤，等我完成再继续。
（2）使用WorkBuddy，提示词如下：
请在这台 Mac 上安装 iPhone Use，让 WorkBuddy 通过 USB 操作我的真实 iPhone：先读取 README.md、workbuddy/README.md 和安装脚本，检查 Python、Node.js、npm、完整 Xcode 和 USB iPhone。克隆或复用本地源码，保留已有改动，在源码目录运行 python3 workbuddy/install.py；不要运行 Codex 安装脚本。在 WorkBuddy「连接器管理」里信任并启用 iphone_use，然后新开会话加载工具和技能。如果这些界面步骤需要我操作，给出具体位置，等我完成后继续。工具可用后读取 iphone-use-setup，先查询 setup status，复用已有配置、健康 WDA或正在运行的启动任务；首次配置使用我自己的设备和 Apple 开发团队完成签名与启动。确认 pua_ready 返回 ready=true 后调用一次 pua_screen()，在侧边栏显示实时手机画面，再在 iPhone 计算器中验证 12×34=408。Apple 登录、信任、开发者模式或解锁需要我接管时，说明具体步骤并等我完成；不要照搬作者的设备标识或签名信息。
（3）使用豆包工作，提示词如下：
请在这台 Mac 上安装 iPhone Use，让豆包工作通过 USB 操作我的真实 iPhone：在「本地电脑」任务中先读取 README.md、doubao/README.md 和安装脚本，检查 Python、Node.js、npm、完整 Xcode 和 USB iPhone。克隆或复用本地源码，保留已有改动，在源码目录运行 python3 doubao/install.py；不要运行 Codex 安装脚本。按安装器输出，在「插件 · 技能 · 伙伴」中新建名为 iphone_use 的 STDIO 连接器，命令和参数使用输出的绝对路径，并分别上传安装目录下的 iphone-use、iphone-use-setup两个技能文件夹。启用连接器和技能，再新开「本地电脑」任务；已有连接器更新后关闭再打开。如果这些界面步骤需要我操作，给出具体位置和路径，等我完成后继续。工具可用后读取 iphone-use-setup，先查询 setup status，复用已有配置、健康 WDA或正在运行的启动任务；首次配置使用我自己的设备和 Apple 开发团队完成签名与启动。确认 pua_ready 返回 ready=true 后调用一次 pua_screen()，在右侧 MCP App 显示实时手机画面，再在 iPhone 计算器中验证 12×34=408。Apple 登录、信任、开发者模式或解锁需要我接管时，说明具体步骤并等我完成；不要照搬作者的设备标识或签名信息。
END
关注+星标，获取AI前沿进展与开源一线动态