5 个重点问题 Q&A

Q1：现有 GUI 智能体存在最核心的落地缺陷是什么？

A：仿真模拟器环境与真实手机线上场景分布严重不匹配。模拟器存在反检测限制，无法完整复现登录过期、验证码、支付验证、风控弹窗等高频异常；训练数据大多是干净成功轨迹，模型缺少错误识别、回溯修复的监督，导致基准跑分高，但真机执行极易陷入循环、任务中断。

Q2：Xiaomi-GUI-0 的混合基础设施真机 + 沙箱分工逻辑是什么？

A：真机为核心执行环境，承载需要真实账号、网络、风控校验的商用 APP，采集真实异常交互轨迹；沙箱作为辅助，用于无强风控 APP 批量采集、标准化消融实验、快速复现测试。调度采用设备主动拉取任务，设备根据自身 APP、账号状态匹配对应任务，减少资源浪费。

Q3：什么是错误驱动数据飞轮，和传统数据扩充方式有何区别？

A：传统飞轮仅扩充成功轨迹样本；本文飞轮以模型自身真实失败轨迹为核心数据源。分为人工标注定位首个根因错误、教师模型打分接管生成故障恢复轨迹两部分，产出包含错误行为、错误原因、修复路径的专用训练数据，针对性补齐模型薄弱故障场景，持续缩小真实场景失败率。

Q4：模型三阶段训练 SFT/Step RL/Agentic RL 分别解决什么能力？

1. SFT 监督微调：学习标准界面动作、五字段结构化 CoT 推理格式，建立基础操作基线；
2. Step RL 单步强化学习：基于级联分层奖励，修正单步推理残缺、动作格式错误、逻辑矛盾；
3. Agentic RL 轨迹级强化：基于完整任务成败回报，优化长时序规划、跨应用信息记忆、异常状态自主修复。

Q5：自研基准 RealMobile 相比 AndroidWorld 等模拟器基准的核心优势？

1. 全部在物理真机、线上真实 APP 运行，可覆盖风控、支付、登录等独有异常场景；
2. 57% 任务为跨应用复杂任务，更贴合真实用户复合需求；
3. 放弃二元成败打分，采用子目标细粒度计分，区分部分完成与完全失败；
4. 双层自动校验机制，兼顾 UI 界面元素匹配与跨步骤、跨应用逻辑一致性，评估结果更贴合真实使用体验。

摘要

图形界面智能体（GUI Agent）依托视觉语言模型（VLM），通过点击、滑动、输入文字、页面跳转等界面操作，在真实应用中端到端完成用户任务。但现有 GUI 智能体训练与评估高度依赖离线成功轨迹、仿真环境与标准化基准，虽能衡量基础感知与任务执行能力，却和真实应用在界面布局、交互逻辑、异常状态分布上差异巨大，无法真实表征真实设备下的执行稳定性。真实设备会出现账号状态、权限弹窗、支付验证、风控拦截等各类场景，导致模型基准高分与落地可用性存在巨大鸿沟。

本文提出Xiaomi-GUI-0，面向真实移动端环境原生端到端多模态 GUI 智能体，在真机闭环中完成训练与评测。核心是真机为主、沙箱为辅的混合基础设施，真机作为主要执行环境，沙箱提供辅助，保证数据采集、训练、在线部署、评测的环境分布贴近真实线上场景。基于该架构构建三类多源训练数据：高频用户任务数据、长尾意图泛化数据、强化反思与记忆的能力增强数据。同时设计错误驱动数据飞轮，将部署过程中产生的失败轨迹转化为修正动作、反思解释、恢复样例，为异常识别与自主修复提供监督信号。

模型采用三阶段渐进训练流程：监督微调 SFT、单步强化学习 Step RL、智能体级强化学习 Agentic RL，依次习得基础界面操作、长时序规划、错误修复能力。评测同时使用公开基准与自研真机基准 RealMobile，在 RealMobile 任务完成率 72.0%，AndroidWorld 达 78.9%，在真实场景中大幅提升执行稳定性与异常识别能力。

1 引言

GUI 智能体（Mobile-Agent-v3.5、UI-TARS-2 等）可识别屏幕、理解自然语言指令，通过界面交互完成任务。与依赖 API 调用的智能体不同，GUI 智能体无需应用开放后端接口，直接操作图形界面，适配绝大多数现有软件。随着 VLM 技术成熟，GUI 智能体从实验室演示走向可落地系统，移动端是最具代表性落地场景，覆盖手机、平板、车载座舱，承载海量高频用户需求。

当前移动端 GUI 智能体存在核心矛盾：仿真 / 静态基准上表现优异，但真机落地效果差。现有训练评估多使用简化模拟应用、受限任务、模拟器环境，无法覆盖商业软件真实交互逻辑与极端边缘场景；大量 APP 搭载反模拟器检测，验证码、支付验证、登录失效、风控弹窗等异常场景难以在模拟器复现。同时线上 APP 持续迭代、页面异步加载、账号动态变化、用户需求长尾分布，进一步加剧仿真与真机的分布偏移。

现有训练数据以虚拟环境成功轨迹为主，模型极少接触真实失败场景，错误识别、反思修正、状态恢复能力薄弱。因此本文提出以真机为核心的训练评测闭环，推出 Xiaomi-GUI-0 移动端 GUI 智能体。

• 搭建真机主导混合基础设施，覆盖手机、平板、车载设备，采集真实账号、网络、风控下的交互轨迹；构建三类训练数据覆盖高频、长尾、高阶推理能力。
• 设计错误驱动数据飞轮：人工标注失败轨迹定位根因错误；教师模型打分接管生成故障恢复样本，产出大量反思、纠错训练数据。
• 三阶段训练流水线：SFT 搭建基础操作能力；Step RL 优化单步动作、推理格式；Agentic RL 在真实交互环境优化长时序规划、跨应用记忆、错误自修复。
• 自研真机评测基准 RealMobile，基于真实流量、物理设备、线上 APP 运行，细粒度子目标打分，覆盖大量跨应用任务，量化真实场景可用性。

2 基础设施：真机与沙箱混合架构

2.1 设计动机

真机环境可复现真实账号、网络、风控拦截，但纯真机集群扩展性差、复现困难；沙箱模拟器可批量并行、实验可复现，但无法绕过 APP 反模拟器检测，缺失大量真实异常弹窗。因此采用真机为主、沙箱为辅混合架构：对风控严格、依赖真实账号网络的 APP 分配真机，稳定性高、无强风控的应用使用沙箱，兼顾真实分布与数据产出效率。

2.2 三层系统架构

• 资源层：
  真机集群覆盖十大主流手机品牌、平板、车载座舱，覆盖 100 款高频商用 APP；沙箱提供数百并发安卓实例，用于消融实验、批量标准化采集。设备上线前完成 APP 安装、账号预热、ADB 调试、权限弹窗预处理。
• 调度层：
  采用设备主动拉取任务（Device-Pull）调度机制，设备上报自身分辨率、已装应用、账号可用状态、风控等级，空闲设备主动拉取匹配自身条件的任务，避免设备离线、账号失效造成任务浪费，提升资源利用率。
• 执行采集层：
  统一观察 - 决策 - 执行循环，标准化动作空间（点击、滑动、输入、切换 APP、返回、等待、用户请求、任务终止等）；实时投屏人工运维，可手动处理登录失效、验证弹窗等异常；完整归档每条轨迹：用户指令、设备类型、账号状态、截图、动作、异常类型，供给训练与数据飞轮。

3 训练数据构建

共三大类基础数据 + 错误驱动飞轮补充纠错数据，覆盖高频任务、长尾意图、高阶推理、故障修复四类监督需求。

3.1 高频任务数据

覆盖高频单应用短流程任务，人工标注多套不同入口页面的完整轨迹；做中间页面数据增强（任务中途切入、跨应用相似页面跳转）；每条轨迹标注前台应用包名消除跨 APP 相似界面混淆；额外采集 5000 条 14 类真实异常样本（登录过期、验证码、支付弹窗、权限申请等），教会模型区分可跳过广告与需人工接管的验证弹窗。

3.2 高泛化长尾数据

• 五级功能树：梳理每款 APP 层级功能入口，作为查询生成基础索引；
• 行为桶查询合成：不单纯拼接功能，基于用户真实使用动机聚类行为桶，区分单应用 / 跨应用（接力、对比、并行三类跨 APP 任务）；经大模型真实性、可完成度筛选、语言润色、功能点标记；
• 轨迹清洗：轨迹级过滤剔除残缺、失败样本；单步清洗去除重复循环动作，将重复卡顿作为反思负样本，仅保留修复动作作为监督标签。

3.3 智能体能力增强数据

标准化五字段结构化思维链 CoT：[观察][反思（可选）][规划 / 更新 / 重规划][决策][记忆]，强制模型每一步记录页面状态、任务进度、历史信息、错误偏差；使用强 VLM 生成推理标注，约束前后逻辑自洽，避免事后强行合理化动作。

3.4 错误驱动数据飞轮（核心创新）

传统数据飞轮只扩充成功样本，本文聚焦模型自身真实故障分布：

• 人工交互式标注：回放失败轨迹，定位首个根因错误，标注正确动作、错误类型、原因，保留错误上下文用于修复训练；
• 教师模型打分接管：每一步教师模型评判学生动作得分，连续低分判定模型跑偏，教师接管多步生成从错误状态回归正轨的恢复轨迹；产出包含错误、错误诊断、修复动作的完整样本，持续针对性补齐模型薄弱错误类型。
  

4 模型三阶段训练方案

基座模型：Qwen3-VL-30B-A3B-Instruct，训练由密监督到稀疏轨迹奖励逐步递进。

• SFT 监督微调：
  融合四类数据（高频、长尾、CoT 增强、飞轮纠错样本），单步为训练单元，学习标准化推理格式与基础动作；
• Step RL 单步强化学习：
  采用 GSPO 序列级优化，级联分层奖励，从格式错误、推理残缺、逻辑冲突逐层扣分，仅全部合规得满分，优化单步推理、动作有效性；
• Agentic RL 智能体级强化学习：
  异步解耦大模型推理与设备交互，避免设备加载卡顿阻塞训练；采用课程采样，自动提升模型薄弱任务采样概率；基于完整轨迹回报优化长时序规划、跨应用记忆、故障恢复。
  

5 RealMobile 真机评测基准

现有基准多为模拟器，无法衡量真实 APP 风控、账号、弹窗场景，本文自研 100 任务真机基准：

• 任务覆盖 14 款主流 APP，57% 为跨应用任务，分为四大能力域：基础操作、安全与反思、记忆与常识、复杂长时序规划；
• 细粒度打分机制：拆解子目标按完成比例计分，设置否决规则（违规操作直接 0 分），支持多合法路径分支计分，区别于传统二元成败打分；
• 双层自动校验：UI 层级 XPath 元素匹配 + 逻辑语义规则（时序约束、跨应用信息一致性校验），搭配 OCR 识别截图文字，实现全自动量化评估。
  

6 实验结果

• 静态定位基准 ScreenSpot-V2 准确率 94.7%，移动端布局识别能力突出，桌面端表现略弱；
• 仿真基准 AndroidWorld 任务完成率 78.9%，超过所有开源 GUI 基线；
• 真机基准 RealMobile 整体成功率 72.0%，大幅领先所有开源模型（最高开源基线仅 33%），接近闭源顶尖模型；
• 分领域表现：基础操作 100% 达标；复杂长时序规划 80.5%，开源最优；安全反思类任务仍是全行业通用瓶颈。

7 相关工作

• 原生 GUI 智能体：从多模块拆分式智能体走向单模型原生 GUI Agent（UI-TARS、Mobile-Agent 系列等），Xiaomi-GUI-0 差异化聚焦真机落地，而非仿真跑分；
• 评测环境：分为模拟器基准（AndroidWorld）与真机基准（MobileBench-OL、本文 RealMobile）；
• RL 训练：现有工作验证在线交互强化学习优于纯离线模仿，本文新增错误飞轮闭环强化故障修复能力。

8 结论

针对 GUI 智能体仿真高分、真机拉胯的核心痛点，Xiaomi-GUI-0 构建真机闭环训练评测体系：真机沙箱混合采集架构、错误驱动数据飞轮、三阶段渐进 RL 训练、真机 RealMobile 基准。在仿真与真机评测均取得领先效果，证明将真实设备交互作为持续训练监督来源，是实现可落地移动端 GUI 智能体的有效路径。