训练GUI Agent必须真机跑轨迹吗？腾讯混元开源AutoGUIWorld，8万条合成数据打赢35万条真人演示。

GUI Agent缺训练数据，装软件、配环境、跑真机是最贵的环节？腾讯混元AI Data Team开源AutoGUIWorld，不部署任何目标软件，让图像生成器逐帧「编辑」截图造出79266条带坐标标注的交互轨迹，微调出的AGW-35B在OSWorld、Windows Agent Arena、macOSWorld、ScienceBoard四个真实基准上全部上涨，四基准平均分从23.6%提到36.5%。

做GUI Agent的人都知道数据有多难攒。一条轨迹意味着真实装机、真实点击、真实重置，想覆盖更多应用就要部署更多软件，而CAD、EDA、科学计算这类专业软件还有授权、依赖和初始化的额外成本。人工演示、自动探索、教程视频抽取这三条老路，覆盖面始终被「手头有哪些可执行环境」卡死。

腾讯混元AI Data Team这次换了个思路：交互数据的核心其实只是「观察层面的状态转移」——点击之后屏幕变成什么样，完全可以用一个视觉世界模型直接模拟，底层系统状态根本不用存在。AutoGUIWorld由此而来，它把预训练图像生成器当成action-conditioned的状态转移模型，配合规划器生成79266条step-level训练样本，覆盖Chrome、Ubuntu、Windows、macOS四个域。用这些数据微调Qwen3.5-35B-A3B得到的AGW-35B，四基准平均分上涨12.8个百分点，ScreenSpot-Pro定位准确率从31.7%涨到57.1%。代码、79266条数据的生成框架、AGW-35B权重全部开源，权重走Apache-2.0协议。

unsetunset相关链接unsetunset

• 论文：https://arxiv.org/abs/2610.01215
• 代码：https://github.com/ImYangC7/AutoGUIWorld
• 模型权重：https://huggingface.co/YangC777/AGW-35B

unsetunset内容介绍unsetunset

AutoGUIWorld是一套GUI交互轨迹的数据引擎：输入是任务指令和一张初始截图，输出是「截图—动作—截图」链条，链条里每个指向动作都带空间坐标标注。

与常规的真机采集不同，它的核心特点是：

1. 不部署目标软件。轨迹在视觉状态空间里合成，安装、配置、任务初始化、运行时维护这些成本全部省掉；
2. 先规划后渲染。Meta Planner先产出完整的原子动作序列和每步的预期视觉变化，图像生成器只负责「把这一步画出来」，语义与视觉解耦；
3. 带坐标、带质检。指向动作经grounding模型定位到像素坐标，每一步转移还要过VLM质检，不合格的帧会被修掉或丢弃。

适用场景：GUI Agent的后训练数据扩充、专业软件（CAD/EDA/科学计算）的交互数据冷启动、以及作为RL阶段的数据构造底座。

左侧是三类结构化采样：OS底座、视觉外观、初始GUI状态；右侧是任务生成、Meta Planner与逐帧渲染的完整链条。

unsetunset方法概述unsetunset

一套机制管「世界长什么样」，一套机制管「下一步该发生什么」。

1. 结构化世界采样与种子实现

初始场景不是从一句自由文本prompt里抽的，而是从三个互补因子里采样：OS底座（系统类型、屏幕几何、动作空间、应用生态）、视觉外观（主题、配色、壁纸、字体、密度）、初始GUI状态（窗口/标签页数量、布局、前台关系、页面内容）。桌面端有windows11、macos、ubuntu2404、chrome_browser四个注册项，移动端支持android和ios。结构化状态先编译成详细的视觉描述，再由图像生成器渲染成初始截图，这份「种子规格书」会被任务生成器和轨迹规划器复用，保证任务、动作、画面三者一致——这正是自由prompt生成最容易翻车的地方。

2. Meta Planner与Voyager闭环渲染

规划层和视觉层彻底分开。Meta Planner根据任务和种子上下文，一次性产出有序的原子动作序列，每步带预期视觉变化描述。rollout阶段，Voyager观察当前截图、接收下一步计划动作，生成第一人称思考、动作摘要和渲染提示词；图像后端以当前截图为image-to-image参考，按提示词编辑出下一帧干净画面。论文实验中这个视觉世界模型用的是gpt-image-2，每张新截图作为下一步的参考继续传递，布局、背景、样式和已见内容得以跨步保持。值得注意的是任务在种子固定之后才生成——先有画面再定任务，避免出现「任务提到屏幕上根本不存在的应用」这种脏数据。

3. 空间标注与转移级质检

指向动作需要空间监督：LocateAnything-3B在动作前的干净截图上定位目标区域，取中心点作为训练标签，标注框画在副本上、绝不回流为后续观测。质检是这套流水线真正花力气的地方——在42526条可评估的桌面转移里，VLM审计标记出1293条动作与图像不一致（3.04%），集中在文本输入、拖拽、滚动和键盘操作；剔除无效动作后仍有818/39351（2.08%）残留，典型失败包括命令被偷换、凭空发明文档内容、提前完成格式化、动作效果缺失、持久内容被误改。这个比例决定了为什么必须做转移级过滤，而不是只看画面像不像。

Voyager每步产出思考、动作摘要和渲染提示词，Image2编辑当前帧生成下一状态，八步「记事本保存文件」任务被渲染成时序一致的截图链。

unsetunset实验结果unsetunset

四个真实环境基准

评测底座为Qwen3.5-35B-A3B（MoE，256专家激活8个），交互类基准每任务最多100轮：

分域看，OSWorld的系统任务涨25.0个点、GIMP涨19.2个点，多应用任务从12.0%升到20.9%，贡献了整体涨幅的最大份额；ScienceBoard的KAlgebra从6.5%涨到48.4%。

ScreenSpot-Pro专业界面定位

1581条英文正样本：整体31.7%→**57.1%（+25.4），文本目标41.2%→72.0%（+30.7），图标目标16.2%→32.9%**（+16.7）。

合成数据 vs 真人演示

对照组用AgentNet（真实桌面环境的人类演示）从同一底座训练：AGW-35B用约8万条合成样本，AgentNet跑用35万条真实样本，结果AGW-35B在全部四个基准上超过AgentNet的最佳checkpoint，ScienceBoard差距最大（32.2% vs 16.8%）。但要注明：两组run的推理设置不同（论文附录C.1），这个对比不能当成严格受控结论。

79266条样本的构成：Chrome覆盖856个网站35209条（44.4%）、Ubuntu覆盖31个应用24250条、Windows覆盖45个应用14778条、macOS覆盖16个应用5029条。

unsetunset局限与未来方向unsetunset

首先，Chrome域不升反降：OSWorld的Chrome从39.0%跌到26.0%，WAA的Chrome从11.2%跌到0.0%。四个基准35个域里25涨、7平、3降，macOSWorld的Safety也从20.7%降到17.2%——合成数据不是处处灵药。

其次，源级可分性仍在：C2ST分类器区分合成与真实截图的AUC约1.00（真实数据集互相之间也有0.95–1.00），合成数据只是把Qwen特征空间的对齐做到了真实跨源变异的尺度（ρ在0.59–1.24之间），不代表以假乱真；Ubuntu域的纯色背景残差最明显（AUC 0.65）。

此外，图标定位32.9%仍只有文本定位（72.0%）的一半不到；当前版本的precondition和blocker字段全为0，前置依赖类交互没有覆盖；评测仅限英文指令与英文界面；长任务对早期动作错误仍然敏感；训练轨迹继承生成管线的视觉瑕疵。

还有一条容易被忽略的工程事实：图像后端是外部商用模型。论文实验用gpt-image-2，代码仓库也要求自行接入「文本+视觉+图像编辑」的模型适配器，复现成本里API调用是大头。

团队在讨论里给出的方向是垂直化：针对特定软件域微调GUI世界模型，让它们更好掌握特定环境的界面结构、操作规则和状态转移，支撑长程一致性。

四类代表性生成失败：命令被偷换、任务提前完成、凭空发明表格结构、快捷键误伤持久内容——这就是转移级质检要拦的东西。

unsetunset结论unsetunset

AutoGUIWorld验证了一件事：GUI Agent的后训练数据不必非从真机里来，预训练图像生成器配上规划器和转移级质检，就能产出足以迁移到真实环境的交互数据，而且8万条合成数据打赢了35万条真人演示。

对于做Agent数据的人，这套框架的grounding与QC流水线（含失败案例文档）比模型本身更值得拆开看；对于想直接用模型的开发者，AGW-35B提供vLLM部署示例（tensor-parallel 2、16384上下文），可作跨平台computer-use的起点；对个人爱好者，权重在HF可直接下载，但BF16共70.21GB（16个分片），单张消费级显卡跑不动，需要至少双卡或量化方案。

当世界模型开始替我们「假装」点了那些按钮，真实环境就只剩最后一道验收工序了。