我们在2025 IXDC大会的峰会和工作坊中，聚焦于如何运用AI技术破解传统体验度量依赖人工、主观性强、效率低下的困境，系统性地展示了从智能指标迭代、度量流程自动化，到深度数据洞察与AI虚拟角色研究等内容，旨在全面驱动阿里云体验度量（UES）的智能化升级，构建更科学、高效的新一代度量体系。
一场效率与深度的革命
“我们的产品体验好不好？”“好在哪，差在哪？”“如何才能变得更好？”
为科学回答这些关乎产品成败的问题，“体验度量”应运而生。阿里云设计部在该领域已实践探索超过5年，从搭建经典的UES度量体系，到如今利用AI驱动其自我进化，并探索构建AI虚拟角色替代真人测试。这不仅是一次方法的迭代，更是一场关于效率与深度的革命。
①
地基与原点——阿里云体验度量UES的诞生
体验度量是将用户主观感受、情绪和认知，通过科学方法转化为可衡量、可追踪的客观数据，以驱动产品优化和商业决策的系统性过程。
〇 1.背景：我们曾面临的三大难题
阿里云设计部支持着数百款云产品，在体验管理上曾面临三大痛点：
· 缺少度量标尺：无法量化回答“产品体验如何？”
· 缺少改进抓手：知道体验不佳，却不知从何改起。
· 缺少管理机制：体验改进依赖各产品线的自驱力，难以形成合力。
〇 2.诞生：一套完整的数字化管理体系
为解决上述难题，阿里云体验度量体系 UES 于2019年应运而生。它集度量模型、体验工具和管理机制于一身，成为了阿里云产品体验的数字化管理基石。
在度量模型上，UES聚焦于用户的产品使用体验，并从三个维度全方位定义体验：
主观态度：通过用户调研、专家走查获取，包含易用性、一致性、满意度指标。
客观行为：通过数据埋点获取，即任务效率指标。
系统表现：通过数据埋点获取，即产品性能指标。
过去5年，UES体系覆盖了113款核心云产品，超过600名内部同学参与，累计推动2000多个体验问题改进，为阿里云产品体验的提升提供了坚实的数据支撑。
②
自我进化——当AI遇上度量体系
随着云产品和市场变化，我们产生了一个思考：一套静态的度量体系能否持续适用？答案是否定的。所以我们决定让UES进行二次进化。
一套好的体验度量体系，应该同时满足三个条件：
贴合产品：符合产品的属性和生命周期。
反映用户：能真实体现用户在使用产品时的感受。
关联商业：能与商业化指标正相关。
我们以一款处于成长期的工具型云产品为例，看看AI如何辅助我们完成体系进化。
〇 1. 产品维度初筛
根据“成长期”和“工具型”的属性，我们初步推演筛选出易用性、任务效率等备选指标。
〇 2. AI分析用户反馈，洞察体感。
获取用户的体感最直接的就是分析用户反馈，因为我们的度量指标主要聚焦“使用体验”，所以我们从各个反馈渠道收集了2000条产品控制台体验的用户反馈。
这里我们引入了AI辅助分析：
模型训练：先让AI学习所有备选指标的概念，并通过示例问题进行“教学”和“纠错”，确保它能准确理解。
智能分析：将2000条反馈给AI进行分类和统计，AI产出各问题类型占比。
最终易用性、任务、一致性、性能问题类型占比较多，因此通过产品和用户维度我们基本可以确定这款云产品适用的指标类型是易用性、任务、一致性和性能。
〇 3.数据验证商业关联
为进一步确定各指标的权重，我们分析了该产品历史UES所有指标分数与核心经营指标的相关性，发现UES总分、易用性等指标与订单续约率、年留存率均呈强正相关。度量指标与经营指标相关性越强，理论上它的权重占比也要越高。
综合以上三个维度的分析，这款产品的UES体系最终进化为以易用性为主，任务效率、一致性为辅，性能次之，满意度为参考指标的新体系。
指标体系的智能自动进化：在AI时代，我们尝试将这一过程自动化。
1）通过产品基本信息和度量指标映射建立指标文献RAG。
2）应用自动化NLP聚类分析用户反馈。
3）持续计算度量指标和商业指标相关性。
让每个产品的体验度量体系都能自我生长、智能进化，时刻保持最佳的适配性，可以更好的提升产品体验和促进商业转化。目前这个方法我们还在持续研究和完善中。
③
效率革命——从AI Agent到虚拟角色
有了智能的度量体系，如何高效地执行度量并获取数据？我们同样借助AI进行了两场效率革命。
〇 1.AI体验度量Agent，一站式搞定全流程
传统度量流程繁琐耗时。为解决这一痛点，我们搭建了AI体验度量Agent。通过自然语言执行度量流程并在特定环节自动调用对应产品，大大提升度量自动化程度，降低人工成本。
- Agent 示意
〇 2.AI虚拟角色，替代真人进行体验测试
尽管AI Agent提升了效率，但易用性、一致性等主观指标度量仍需耗费人力。于是，我们开始探索一个更大胆的想法：AI能否替代真人进行测试？
1）AI的真实能力摸底
为了解目前大模型基模能力，我们选取了Gemini、ChatGPT和豆包3款主流大模型，通过“喂”给它们产品页面截图和易用性规则，考察它们在元素识别、规则理解、报告输出上的表现。
过程发现大模型在回答上的确能进行打分和描述一些问题，以及会结构化产出问题描述、原因、优化建议等内容，并且还会检索“尼尔森设计原则”加以应用。最终，Gemini在理论理解和评估稳定性上表现突出。
2）让AI更“懂”体验
随后，我们通过三种方式对选定模型进行微调：
指标理论RAG训练：让AI学习经典体验度量指标理论知识。
常见问题库训练：让AI学习平台积累的内外部体验问题。
真人对比实验数据训练：将真人专家测评页面的打分和问题数据给AI学习。
在真人对比实验中，我们邀请20位专家与AI同步测试页面，结果发现：
· 在一致性等规则型打分上，AI与真人几乎无差异。
· AI与真人在发现高频问题上有79.2%的重叠率。
· AI发现的问题有效性高达76.8%。
这证明，AI在特定场景下已具备替代真人的潜力。
3）“Janus”的诞生：一个有血有肉的虚拟开发者
为构建更逼真的AI角色，我们探索了“虚拟角色7维构建法”（含理性、感性、随机性三大类）。据此，我们创造了一个虚拟开发者角色“Janus”，他有明确的技能背景，以及“容易不耐烦”、“习惯用快捷键”等个性。
当我们将页面和问题抛给“Janus”时，他的回答令人惊喜：“上手成本给7分，清晰性6分...这个布局有点乱，我又不是来逛商场的。找个功能，我的第一反应是Cmd+K，但这里好像不支持...”。他的回答不仅给出了评分和问题，还完美融入了我们设定的性格特质。
基于以上研究我们尝试沉淀一套自动化AI虚拟角色训练方法，根据度量场景的需求我们构建不同的角色。目前这套方法我们在持续研究和完善中。
回顾我们的探索，从让度量体系“自我进化”，到用AI Agent实现“流程革命”，再到以虚拟角色攻克“度量成本”的难题，我们坚信，AI正为体验度量领域带来一场深刻的范式转移。
我们的研究远未结束，前方的机遇与挑战并存。但可以确定的是，一个更科学、更高效、更具深度的体验度量时代已经来临。我们期待与大家深入交流。
