编者摘要：Google ARTEMIS 是开源 Android AI 智能体自动化框架，依托 MCP 协议，让 AI 助手像人类一样操控真实安卓手机或模拟器，基于自然语言完成跨 App 任务与自动化测试。它融合无障碍 UI 树、OCR 与视觉模型定位控件，适配 Compose、Flutter 等自定义界面。提供 Flash 与 Pro 两种执行模式：Flash 速度快，约 3–5 秒 / 步，适合常规任务；Pro 采用多智能体架构，自带任务规划、前置校验与故障恢复，可支撑长流程稳定性测试，在 AndroidWorld 基准测试实现 99%+ 任务完成率。
ARTEMIS 支持 Web 控制台、MCP 服务、CLI、Python SDK 四种使用方式，可接入 Claude Code、Cursor 等 AI IDE，自动采集截图与 Logcat，生成诊断报告。设备侧仅部署轻量无障碍辅助服务，本地读取 UI，不上传屏幕数据；服务异常时自动降级 UIAutomator2。项目采用 Apache2.0 协议，路线图包含 Android Studio 插件、iOS 扩展、端侧轻量 VLM 与语音交互。
- ARTEMIS 是什么？
Google 开源的安卓 AI 智能体自动化框架，用自然语言驱动真实手机完成跨 App 操作与自动化测试，支持 MCP 协议对接 AI 开发 IDE。 - ARTEMIS 和 Appium/UIAutomator2 最大区别？
传统自动化依赖硬编码控件选择器；ARTEMIS 依靠多模态视觉 + 无障碍树，自然语言下发任务，自带 AI 规划、失败恢复与报告生成。 - Flash 与 Pro 模式怎么选择？
Flash 适合简单、固定流程，追求速度；Pro 适合复杂长任务、稳定性测试，需要任务校验、故障恢复和结构化报告。 - MCP 在 ARTEMIS 里的作用？
MCP 是通信协议，让 Claude Code、Cursor 等 AI IDE 直接调用 ARTEMIS，操控手机、抓取截图、收集 Logcat，在 AI 编码环境复现 bug 并诊断。 - 手机上安装的 Artemis 助手有什么作用？
轻量无障碍服务，本地读取屏幕 UI 布局，不会上传画面数据；任务失败会自动切换为 UIAutomator2 作为备选方案。 - ARTEMIS 的模型运行在手机端吗？
不。手机仅运行无障碍助手；大模型部署在电脑本地或云端。未来规划才会加入端侧轻量 VLM。 - AndroidWorld 基准 99%+ 完成率代表什么？
在谷歌 AndroidWorld 数据集（20 + 应用，100 + 多步骤复杂任务），ARTEMIS 能成功完成绝大多数多步骤手机操作任务，达到 SOTA 水平。 - ARTEMIS 有哪些使用方式？
Web 可视化控制台、MCP 服务、CLI 命令行、Python SDK，可集成到 pytest、CI/CD 流水线。 - ARTEMIS 隐私安全如何？
手机端无障碍助手只在本机读取 UI 信息，不会主动向外传输屏幕内容；数据流转由本地 ARTEMIS 服务管控。 - ARTEMIS 未来规划有哪些？
开发 Android Studio 原生插件；支持 iOS 设备；引入端侧轻量视觉模型；增加实时语音交互控制。
定位：Google 开源的 Android 多模态 AI 智能体自动化框架，让 AI 助手 / 测试套件像真人一样操作真实安卓手机 / 模拟器，支持自然语言驱动跨 App 操作与自动化测试，MCP 协议打通主流 AI IDE。
仓库：https://github.com/google/artemis，Apache2.0 协议，基于 mobile-use项目开发。
✨ 核心亮点
- 跨 App 自然语言自动化
直接用自然语言描述任务，在安卓系统多应用之间完成操作（示例：在 Google Maps 规划路线、计算时长，切到 YouTube 播放 Coldplay 歌曲）。 - 多模态 UI 定位
优先读取无障碍层级元素；找不到控件时自动降级：坐标定位 + 视觉模型识别，适配 Compose、Flutter、自定义 Canvas 界面，不依赖固定 UI ID，UI 改版不容易失效。 - MCP（Model Context Protocol）集成
对接 Antigravity、Claude Code、Windsurf、Cursor、Cline/Roo 等 AI IDE；AI 可以直接驱动真机、截图、抓取 Logcat 日志，复现 bug、自动生成诊断报告。 - 两种执行模式
- Flash（快速模式）
3–5 秒 / 步，轻量反应式循环，压缩历史上下文，适合常规确定性 UI 任务。无前置校验、没有任务规划。 - Pro（专业模式）
15–40 秒 / 步，多智能体图架构；Planner 生成可验证的 Markdown 任务计划，Operator 执行，Checker 校验结果；自带执行前安全校验、失败自动恢复、长流程稳定性测试、生成结构化报告，支持几十上百步长任务循环。 - 顶尖基准测试
在 Google Research AndroidWorld 基准（20+App、100 + 多步骤任务）达到 99%+ 任务完成率。 - 多种使用入口
Web 可视化控制台、CLI 命令行、Python SDK，可嵌入 pytest、CI/CD 流水线。
🧱 架构原理
- 执行前置校验 + Action Burst
执行动作前校验 UI 树 + 像素画面；短时浮动 UI（Toast、临时工具栏）可以连续点击批量执行，减少模型轮次延迟。 - 混合元素查找
无障碍层级 + OCR + 视觉模型三者结合。 - 历史压缩机制
Flash/Pro 都会把旧截图转为视觉摘要，历史步骤分块压缩，避免上下文无限膨胀，同时支持回溯检索与任务回放。 - 设备侧依赖：Artemis Accessibility Helper
-
在手机上安装一个无障碍服务，读取屏幕布局（不会上传数据，仅本地使用），状态栏会出现提示通知。 -
如果 Helper 异常，会自动降级到 UIAutomator2。 -
可手动安装、卸载、状态检查；支持环境变量控制是否自动安装。
🚀 快速启动（Quick Start）
前提：安卓真机 / 模拟器开启 USB 调试。一键脚本自动安装 ADB、scrcpy、FFmpeg、Python uv，自动配置 MCP 规则。
# macOS / Linux
git clone https://github.com/google/artemis.git && cd artemis
./start.sh
# Windows PowerShell
git clone https://github.com/google/artemis.git
cd artemis
.\start.bat
启动后自动打开 http://localhost:8000：设备连接向导、实时投屏、任务沙箱、执行回放。 CLI 直接运行示例：
uv run artemis run "打开设置，找到电池，告诉我当前电量" --profile flash
📦 四种使用模式
- Web 可视化控制台
uv run artemis ui。实时投屏、自然语言下发任务、动作轨迹可视化、任务回放；支持restart / stop / status管理服务。 - MCP Server
给 AI IDE 提供设备操作能力，自动抓截图、Logcat，用于 bug 复现与自动化测试。 - 开发者 CLI
uv run artemis run，适合批量自动化、稳定性探索、AndroidWorld 基准评估，结构化终端输出。 - Python SDK
作为 Python 库集成进现有测试框架（pytest），Pydantic 强类型输出，支持断言，接入 CI 流水线。
🛠 Antigravity × ARTEMIS 完整自动化测试链路
- 任务下发 (Prompt Input)
在 Antigravity 输入测试场景与指标 - 生成测试计划
自动生成分步测试方案，供人工审核 - 自主执行
操控真实安卓设备，遍历 UI，采集性能数据 - 输出报告
结构化审计结论、指标表格、原始截图 / 日志数据集
📌 环境变量配置（常用）
# 使用UIAutomator2替代无障碍Helper
ARTEMIS_HIERARCHY_BACKEND=uiautomator
# 禁止自动安装手机端无障碍助手
ARTEMIS_HELPER_AUTO_INSTALL=false
Helper 管理命令：
uv run artemis helper install # 预安装助手，省去首次任务3s延迟
uv run artemis helper status
uv run artemis helper uninstall
uv run artemis doctor # 诊断环境
🗺️ Roadmap 路线图
-
Android Studio 原生插件，编辑器内调试、录制测试、设备控制 -
扩展到 iOS 设备与模拟器 -
端侧轻量 VLM：本地视觉模型，低延迟、隐私优先 -
实时语音交互：语音下发任务，支持对话打断
📜 License & 社区
Apache-2.0 协议；Discord 社区，支持 Issue 与 PR。
项目部分代码源自 minitap-ai/mobile-use。
对比：ARTEMIS vs 传统 UI 自动化（Appium/UIAutomator2）
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|