手机 GUI Agent 长程任务新突破：MemGUI-Agent 让智能体“记得住”
手机 GUI Agent 正从简单的“看懂屏幕、点击按钮”进化为处理复杂的跨 App 自动化任务，如查商品参数、整理社交媒体信息、更新通讯录等。然而，现有技术在面对长程任务时面临核心痛点：任务步骤一多，关键信息极易遗忘。
在短程任务中，多模态大模型驱动的 GUI Agent 表现尚可；但一旦任务跨越数十步、多个 App 及多次页面跳转，上下文退化问题凸显。价格、联系人、规格等关键事实往往在后续步骤中被稀释、转述错误甚至完全丢失。
针对这一难题，浙江大学 APRIL 实验室与快手主站技术部联合推出了MemGUI-Agent。这是一个面向长程手机 GUI 任务的端到端 Agent，其核心理念并非单纯延长 Prompt，而是让 Agent 在执行 UI 操作的同时，主动决策如何压缩历史、记忆关键 UI 事实及描述当前步骤。
- 提出 ConAct 机制，将上下文管理提升为 Agent 的主动动作。
- 开源截至目前平均步数最长的手机 GUI Agent 数据集MemGUI-3K。
- 基于该数据集训练的 MemGUI-8B-SFT 模型，在MemGUI-Bench和MobileWorld两大长程任务评测基准上刷新了 open-data 模型的最佳成绩。
△上下文成本与主要 benchmark 结果
论文第一作者为浙江大学 APRIL 实验室博士生刘广义，通讯作者为刘勇教授。目前，MemGUI-Agent 已实现全链路开源，涵盖代码、数据、模型及训练评测 pipeline。
△效果速览：MemGUI-Agent 端到端自主完成长程 GUI Agent 任务
长程手机任务的瓶颈：不仅是「看不清」，更是「记不住」
传统 ReAct 风格的 GUI Agent 通常将每一步的思考、动作和结果被动追加到上下文中。这种模式在短任务中行之有效，但在长程任务中会引发两大问题：
首先是Prompt Explosion（提示词爆炸）：随着任务步数增加，历史记录线性膨胀，导致输入过长，计算成本激增。
其次是Information Loss（信息丢失）：海量历史记录混合后，关键事实易被噪声淹没。例如，Agent 在 Amazon 查询到的具体参数，几十步后在 Joplin 写笔记时可能仅残留模糊印象，丢失具体数值。
研究指出，手机 GUI 长程任务亟需保存跨屏幕、跨步骤、跨 App 的 UI 衍生事实（如价格、电话、规格等）。仅靠被动追加历史，既不紧凑也不可靠。
△ReAct 被动追加历史 vs.MemGUI-Agent 主动上下文管理
ConAct：将上下文管理升级为 Agent 的「核心动作」
MemGUI-Agent 的核心创新在于Context-as-Action（ConAct）机制。它将上下文管理提升为与 UI 点击、输入、滑动同级的“第一类动作”。这意味着 Agent 在每一步不仅输出操作指令，还需同步整理工作记忆。
ConAct 将上下文结构化拆分为三个字段：
- Folded Action History（折叠动作历史）：不再机械记录每一步，而是由模型主动将已完成的子任务压缩为可复用的摘要。
- Folded UI State（折叠 UI 状态）：精准存储关键 UI 事实（如完整电话号码、商品价格、规格参数），而非模糊摘要。
- Recent Step Record（最近步骤记录）：记录当前屏幕观察、意图、动作及结果，为后续的记忆折叠提供可靠原料。
在每一步推理中，MemGUI-Agent 输出 thinking、folding、tool_call、ui_observation 和 action_intent 五段结构化内容。其中 tool_call 既包含常规 UI 动作，也包含 memory_add、memory_update 等记忆操作。上下文管理由此内化为多模态策略模型的一部分，实现了单次前向推理中的操作与记忆协同。
△ConAct pipeline
为何不能仅靠「提示词工程」？
若 ConAct 仅为一种结构化输出协议，直接应用于现有模型是否有效？实验表明答案是否定的。作者在 Qwen3-VL 系列模型上的零样本测试发现，仅最强规模的 Qwen3-VL-235B-Thinking 能显著受益，而较小规模模型或直接套用 ConAct 反而导致性能下降。
这证明主动上下文管理并非简单的 Prompt Trick，模型必须习得何时压缩历史、何时写入记忆以及如何生成可复用描述。为此，研究团队构建了MemGUI-3K数据集，用于监督训练中小规模模型。
△不同 Qwen3-VL 规模模型零样本使用 ConAct 的结果
MemGUI-3K：赋能 8B 模型掌握长程上下文管理
MemGUI-3K 数据集源于 MemGUI-Bench 的 128 个种子任务，通过实体替换、记忆操作增强及任务简化，扩展至 7303 个任务，其中 5293 个用于 Teacher Rollout。
数据收集阶段，采用 Qwen3-VL-235B-Thinking 作为 Teacher，在 Android 环境中按 ConAct 协议执行任务。随后经 MemGUI-Eval 进行轨迹级过滤，并实施步级合理性筛选，剔除冗余、错误或绕路步骤，确保训练数据的高质量。
△MemGUI-3K 数据收集与过滤流程
最终数据集包含2956 条成功轨迹，覆盖26 个 Android App及7 类功能场景，提取出64430 个 SFT 样本。统计显示，平均轨迹长度为 28.8 步，65.1% 的轨迹使用了至少一次记忆动作，88.7% 的轨迹包含 span-level fold（多步压缩）。这表明该数据集不仅训练点击操作，更着重培养模型的长程记忆管理能力。
△MemGUI-3K 数据统计
评测结果：235B 零样本刷新纪录，8B SFT 泛化能力卓越
实验涵盖两类 Agent 设定：MemGUI-Agent-235B（零样本 ConAct）与MemGUI-8B-SFT（基于 MemGUI-3K 的 LoRA SFT）。
在MemGUI-Bench上，MemGUI-Agent-235B 取得 Pass@1 37.5%、Pass@3 62.5%、IRR 46.8% 的成绩，较同基线 ReAct 风格模型分别提升 13.3、15.6 和 16.8 个百分点，整体表现优于 Gemini-2.5-Pro 驱动的 Agentic Workflow。
更为亮眼的是 8B 模型。MemGUI-8B-SFT 在 MemGUI-Bench 上达到 Pass@1 23.4%、Pass@3 35.9%、IRR 30.2%，较基线大幅提升，创下 open-data 8B 模型在该基准上的最佳战绩。
△MemGUI-Bench（平均步数 36 步）leaderboard
在分布外基准MobileWorld GUI-Only上，MemGUI-Agent-235B 成功率达 29.1%，高出基线 14.6 个百分点；MemGUI-8B-SFT 成功率为 17.9%，超越 OpenMobile-8B（17.7%），展现出优异的泛化能力。
△MobileWorld GUI-Only（平均步数 27.8 步）leaderboard
组件消融：三要素协同方能奏效
在 MemGUI-Bench-40 上的消融实验显示，ReAct 基线 Pass@1 仅为 5.0%。单独引入 UI Memory Actions、History Folding 或 Self-describing Step 虽各有提升，但幅度有限。
唯有完整 ConAct 机制带来显著突破：Pass@1 跃升至40.0%，Pass@3 达62.5%，IRR 达51.0%。这证实 History Folding 控制上下文增长、UI Memory 保存精确事实、Self-describing Step 提供可靠观察与意图，三者缺一不可，共同保障了长程任务中信息流的稳定性。
△ConAct 组件消融实验
案例解析：从「看过」到「记住并正确使用」
△case study
典型案例展示了 MemGUI-Agent 在处理长程任务时的优势。例如，先在 Amazon 对比三款手机参数，再跳转至 Joplin 撰写笔记；或从 Mastodon 提取联系人信息，更新至 Contacts 并发送短信。此类任务中，关键信息往往短暂出现且需在数十步后跨 App 调用。
ReAct 风格 Agent 常出现“看过即忘”，而 MemGUI-Agent 通过在关键时刻主动写入 UI Memory，并在子任务完成后折叠历史，构建了紧凑的结构化状态。这使得模型无需回溯冗长记录，即可直接读取并利用前期获取的关键信息。
失败分析：ConAct 有效抑制上下文诱发的幻觉
对失败案例的分类统计显示，Full ConAct 将总失败数从 99 降至 58，降幅约 41%。其中，Process Hallucination（过程幻觉）与 Output Hallucination（输出幻觉）改善最为显著。
这表明 ConAct 主要解决了因上下文混乱导致的幻觉问题，如遗忘中间步骤或错写关键信息。相比之下，知识缺失与意图理解偏差的改善空间较小，仍是未来优化的重点方向。
△失败类型热力图
展望
MemGUI-Agent 的创新意义在于将“记忆”问题从外部工程模块内化至策略模型核心。Agent 不仅执行动作，更学会管理执行过程本身。对于长程移动自动化任务而言，这是从“能点”迈向“能办事”的关键一步。
论文：https://arxiv.org/abs/2606.19926
项目主页：https://memgui-agent.github.io/
Github：https://github.com/kwai/MemGUI-Agent
Huggingface Daily Paper：https://huggingface.co/papers/2606.19926
MemGUI-3K 数据集：https://huggingface.co/datasets/lgy0404/MemGUI-3K
MemGUI-8B-SFT 模型：https://huggingface.co/lgy0404/MemGUI-8B-SFT