Google发布了一项关于从用户交互中提取意图的研究成果,旨在赋能自主代理。该方法采用设备端小模型处理数据,无需将信息回传服务器,有效保障了用户隐私。研究表明,通过将任务拆分为两个阶段,该方案在大型数据中心测试中表现优异,性能超越了多模态大语言模型(MLLMs)的基础水平。
浏览器与设备端的小型模型架构
研究核心在于通过移动端或浏览器上的用户操作序列识别意图,且全过程在本地完成以确保隐私安全。该技术通过两阶段流程实现:
- 第一阶段:设备端模型对用户当前操作进行摘要总结;
- 第二阶段:将摘要序列输入第二个模型以精准识别用户意图。
研究人员指出:“相比更小规模的模型及最先进的多模态大语言模型,我们的两阶段方法展现出更优越的性能,且不受数据集和模型类型限制。同时,该方法能自然处理传统监督微调难以应对的噪声数据场景。”
基于UI交互的意图提取机制
针对2025年提出的利用多模态大语言模型从截图和文本描述中提取意图的技术,本研究采用了改进的提示词策略。研究人员将用户在应用中的操作序列定义为“轨迹”,每个交互步骤包含两部分:
- 观察结果:即该步骤屏幕的视觉状态(截图);
- 操作行为:如点击按钮、输入文本或链接等具体动作。
高质量的意图提取需具备三个特征:
- 忠实性:仅描述轨迹中实际发生的内容;
- 全面性:提供重构用户意图所需的所有信息;
- 相关性:不包含超出必要范围的冗余信息。
意图评估的主观性与挑战
意图提取的评估极具挑战性。由于用户意图常包含复杂细节且具有主观歧义,加之行为动机不可见(例如购买产品是出于价格还是功能),导致匹配难度较大。此前研究显示,人类在网页轨迹上的意图匹配率为80%,移动端为76%,表明特定轨迹并不总能唯一指向某种意图。
模拟思维链的两阶段方法
鉴于小型语言模型在推理方面的局限,研究团队放弃了传统的思维链(CoT)推理,转而采用模拟该逻辑的两阶段方法:
“首先,通过提示词为轨迹中的每次交互(由视觉截图和文本动作组成)生成摘要,因目前缺乏单交互摘要的训练数据;其次,将所有交互级摘要输入第二阶段模型以生成整体意图描述,并在此阶段应用微调技术。”
第一阶段:交互截图摘要
该阶段将摘要分为屏幕内容描述和用户行为描述两部分。值得注意的是,研究尝试了包含“推测意图”的第三部分,尽管最终剔除了该推测内容,但这一过程反而提升了结果质量。经多种提示策略测试,当前方案效果最佳。
第二阶段:总体意图生成与精炼
此阶段对模型进行微调以生成总体意图。训练数据包含交互摘要与真实意图匹配数据。为解决模型因输入摘要不完整而产生的幻觉问题,研究团队对目标意图进行了“精炼”处理,移除未在输入中体现的细节,迫使模型仅基于现有输入推断意图。对比四种方法后,该方案表现最为出色。
伦理考量与应用局限性
论文强调了自主代理可能采取不符合用户利益行为的伦理风险,呼吁建立适当护栏。同时承认研究存在局限:测试仅限于Android和Web环境,结果未必适用于Apple设备;且样本仅限美国英语用户,普适性有待验证。
目前该流程尚未投入实际应用。官方博客表示,随着模型性能提升及设备算力增强,设备端意图理解有望成为未来移动辅助功能的重要构建模块。
核心要点与发展方向
本研究聚焦于设备端自主智能体,通过观察UI交互推断用户行为目标,而非直接应用于AI搜索或经典搜索。具体应用场景包括:
- 主动协助:监控用户行为以实现个性化增强和效率提升;
- 个性化记忆:记录过往活动作为后续服务的意图参考。
这展示了Google未来的技术演进方向:利用设备端小模型实时理解用户意图,并在必要时主动介入协助。

