大数跨境
0
0

译文 | 为用户体验选择正确的量化指标

译文 | 为用户体验选择正确的量化指标 MIX无线设计
2015-06-12
0
导读:指标是衡量用户体验设计决策是否有效的信号,不论是在持续跟踪你自己(或竞争对手)产品体验的变化,还是在设定设计目标时,使用指标都是至关重要的。


指标是衡量用户体验设计决策是否有效的信号,不论是在持续跟踪你自己(或竞争对手)产品体验的变化,还是在设定设计目标时,使用指标都是至关重要的。

尽管大部分团队监控了转化率,用户参与时间等数据指标,但很多时候这些指标并不能帮助设计师做出设计决策。原因是什么呢?这些指标的层次太高了(太抽象了),因为转化率的改变可能是由某个设计改动引起的,也可能是有由于推广活动,或者是由竞争对手的一些举措导致的。同理,用户在APP上的停留时长意味着太多的信息。

UX的决策人员(设计师们)要为线上产品的用户体验指标负责。首先,我们可以来看看大部分团队里的体验指标量化的现状,他们在定义用户体验量化指标时存在的一些问题,接下来,我们重点关注三种类型的体验指标,如何跟踪和监控它们,并将他们整合到整个团队的评估框架中去。

现状——现有指标存在的一些问题

在网站和应用程序中有海量可用的数据,似乎能产生出不少有价值的洞察信息,然而,在没有合理的决策机制时,情况并不是这样的。现成的分析结论, A/B test,甚至后续的用户调查等可用的数据源确实不少,但这些并不一定能告诉你产品的用户体验到底如何,实际上这类信息才能帮你更好的做出设计决策。主要原因可能有以下几点:

l容易被跟踪和监控到的指标并不能真正说明重要的信息(例如体验如何)。

例如PV很容易被收集,但它不能告诉你用户是在什么时间段用你的APP,使用后的真实体验如何,或者你们团队的目标也可能不是确保每个访问者浏览几个页面,所以,PV是衡量广告效果的重要指标,但它却不是用来说明用户参与度如何的好指标。

  • 指标可能是很含糊的(不清晰)。

很多时候,人们用网站(或APP上)的停留时长来评估用户参与度,页面停留时间长可能是个好现象,但那些让用户感觉到困惑,被干扰、或者沮丧的时间极有可能带来负面的体验。就算将所有用户单次访问网站或APP的时间均值来作为衡量指标,它仍然不能清晰的界定用户参与度。

  • 指标并不总是映射到设计行为上。

经常出现的一个情形是,新功能发布后流量大涨,产品团队会认为是由于他们推出的新功能,业务团队可能把它归因于新的促销活动,UX团队可能会认为是由于他们用了全新的设计形式导致的,但实际上新增的流量很有可能和这所有的因素都没有关系呢。另外,A/B test可以收集设计相关的数据,但这些数据的颗粒度比较细,图片A与图片B的点击量这样的指标,可以帮设计师客观的选择一个更合理的用户界面元素,但一旦涉及到更系统层面的设计决策,A/Btest 就发挥不了太多的作用。

  • 可能跟踪了有太多的指标。

在一些数据分析工具和平台上,很多指标的原始数据是很容易获取的,这些报表可以跟踪成千上万的指标,并且可以被无限定制。它们倾向于衡量一切,并希望自动产出一些有价值的决策信息,很显然,大部分情况并非如此乐观(没有经过分析的数据是很难说明问题的)。

  • 正确的指标可能根本没有抓取。

通常习惯于在产品发布后跟踪指标,然而当进行设计构思时,需要应用一些有设计指导性的指标,帮你做一些设计决策,但悲剧的是这些指标既没有被量化,也没有被跟踪。

因此,在充斥着大量噪音的数据中,为用户体验找到合理的指标不是一件容易事,更为复杂的是,除了UED之外的其他团队的关键KPI(企业通常定义和跟踪的业务指标),貌似也在定义和指示你应该达到的用户体验目标

回溯——用户体验指标的前世今生

大部分指标是业务导向的,而不是用户体验导向的。UV可以告诉你市场推广是否有效,社会化口碑传播可以表明你的标题是否抓住了眼球,但这些指标并不能告诉你使用这个产品和APP用户的真实体验。

表1并没有提供完整的指标清单,但它表明了业务导向的指标和UED团队跟踪的指标间的一些差异。 到目前为止,易用性是用户体验指标主要的侧重点,这也是用户体验团队最熟悉和擅长的范畴,所以以易用性做为起点也无可厚非。常用的体验指标大都是对使用效率的评估,如任务时长,成功率和用户出错率等,是对用户实际使用行为的客观记录,尽管成功率有一定程度的主观性,因为它取决于你是如何来测量的。

满意度评估模型等主观测评,主要在使用后评估用户如何感知产品和功能的。有时候, 为了更好的洞察产品或APP的可用性,UX团队既收集了主观指标也收集了客观指标。

从表1所展示的用户体验指标特点来看,大部分典型数据是从可用性研究中获取的,而不是基于数据分析的。这也是业务指标和用户体验指标另外一个明显的差异点。然而,很多团队要么完全没有定量的研究数据,或者是跟踪到不一致/不稳定的定量数据,因为基于业务发起的研究要么针对一个特定的问题,要么只是进行需求探索,并且研究样本也比较小,所以导致他们在一段时间内仅仅只收集了临时性的可用性指标。

然而,用户体验不仅仅是可用性,它还包含了用户动机、态度,心理预期和行为模式等,甚至包括产品对用户的限制,它几乎涵盖了用户所有的互动类型,他们对体验的感知如何,期望的操作方式是什么样的。所以,用户体验不仅要关注单次访问的几分钟,或对产品的一次性使用过程,还应该要综合关注一些跨渠道的使用历程,这也是未来体验度量的新领域。

用户体验中的不确定因素

尽管大部分指标被人们通常挂在嘴边并被广泛应用,但多少还是有些抽象的。业务(市场)指标关注用户(流量)的获取,所以他们关心的是获取用户注意力并产生交易。对转化漏斗和着陆页的优化等过分的强调削弱了人的因素。另外,这些指标缺少了一些过程性的复杂体验,而这些恰恰构成了用户对网站或者APP的真实体验,如使用导航分类时的犹豫,使用搜索是由于网站导航太难搞懂,在信息流中无法定位时感到的困惑,这些细节对于理解用户体验是至关重要的,优秀的UX团队应该重视对这些复杂体验的跟踪。

用户体验量化的目标应该将用户实际感知到的各种体验综合起来。要达到这个理想状态,目前在两个方面是有所欠缺的,一是对用户使用行为背景信息的探索,二是将定性和定量数据相结合,建立起关联。

探索用户行为的背景信息:UX团队可以为数据分析的结论(通常揭示发生了什么)提供一些背景信息,主要通过用户研究创建人物角色和行为地图等方式,来解释用户是如何使用以及为什么使用你的产品。如果你准备监控不同行为之间的关系,不同渠道来源的用户目标和行为有何不同,你也可以为这些背景信息提供一些指标。

创建数据关联:除了填补在“发生了什么”和“为什么发生”之间的空白外,用户体验指标应该为“设计研发过程中所产生的洞察”和“产品发布后应该跟踪什么”搭起桥梁。越来越多的团队从客服、现有的数据分析中收集定量数据,并与定性的研究结论建立关联,如果没有指标的话,很难理解一段时间内的体验变化,并合理分配体验优化相关问题的优先级。

尽管就现状而言,指标主要是服务于业务和市场的,而不是典型的体验指标。但用户体验的专业人员可以从业务指标中有所借鉴参考,因为业务团队花了更多的时间来制定KPI并进行相关数据的收集和度量。

3类可跟踪的用户体验指标(与成功的用户体验相关的三类指标:易用性、参与度和转化率)

仅关注那些宏观的业务价值,并不能直接的转化成更好的用户体验。通过进一步分析的用户体验指标,可以对已跟踪的基础业务指标做一些补充。例如聚焦在用户体验关键因素上的用户参与时长和跳出率等。

表2列举了3类与成功的用户体验相关的指标——可用性,参与度,和转化率。你可以假定每类指标中只有一个是最关键的,从3类中合并几个指标组成复合分数,并通过研究进行跟踪,表2中展示的指标帮助我们更细致的理解为用户体验的优化提供依据。
可用性

可用性的指标主要聚焦于用户是否能简便的完成他们想要执行的任务。它包含了一些团队已经在监控了的一系列指标,例如任务的完成时间,任务成功率,易用性评分,它还包括了颗粒度更细更加具体的指标,例如图标识别,搜索和导航的使用情况,此外,它还可以涵盖那些让用户产生困惑和犹豫的交互方式及操作流程。

用户参与度

众所知周,参与度是一个主观模糊的指标,很多网站和应用把“参与度”当作度量指标中的制胜法宝。但UX团队必须探索有多少用户与网站或APP进行了互动,他们投入了多少注意力,用户在一个任务流中花了多长时间,以及他们对整个过程的感受如何?时间也许是参与度指标中一个因素,但最好能和其他的指标如PV、滚屏的时间间隔、操作流程等结合来看。最好能和一些定性的分析相结合,因为这个指标比较难解读。

转化,或者潜在转化

转化是每个人最关心的,但它主要针对已经开始使用APP的小部分用户,而忽略了那些刚刚听说你们APP,并打算尝试探索和使用的那部分用户。针对后面这种情形的问题,你同样可以使用用户体验指标来解决——除了考虑转化率和净推荐值之外,通过观测用户在微观转化率上采取行为的可能性。

这类指标可以帮助我们识别一些趋势,也能解决“我们要怎么做”这类数据应用层面的问题。宏观的数据可以帮助我们从整体上了解网站或APP在一段时间内的变化,它是如何存活的,或其它与体验相关的更多信息。

未来——探索更有意义的指标

现成的数据分析所能提供的信息是有限的,为了弥补这个不足,越来越多的团队都在探索更有意义的指标,这对UED来说是好事情,因为用户体验团队需要监控和跟踪的指标为复杂,不过最终也会产生较为长远的价值;

局限于单一信号(指标)的方式逐渐过时,比如将PV浏览量等同于用户参与度,用登陆页中期望用户产生有效行动的按钮点击量(callto action)来说明转化率等会逐渐被淘汰,体验的指标度量上最新的发展趋势是借助更复杂的合成信号(综合指标)来代替单一信号源的指标。

多信号的综合指标来源于多种数据源和渠道,例如将社会化口碑与使用行为相结合,基于这样的理念, Modcloth通过净推荐值,商品评论,和社交网站的帖子等多信号合成的指标,定义和分析了网站中得不到关注和服务的那部分用户(被忽略的用户)。另外一种可能性是基于信任度的因素研究,将可信度线索的识别信任度评分用户进行推荐的可能性等几类指标进行合成。

事件流指标来源于按时间顺序发生的交互行为,例如,浏览器选项卡打开的时长,视频播放器运行的时长,以及在屏幕上用户鼠标的浏览轨迹。媒体行业利用任务流中屏幕滚动的位置来监控全部阅读时长,并将其作为主要的KPI。对一系列事件的注意时长是更好的洞察用户参与度的另外一种指标。你可以使用类似的技术手段来跟踪用户的行为状态。

合理的用户体验指标通常是将用户操作行为和主观看法相结合。行为是用户实际的操作,包括点击,滚屏和表单填写,控件点击等。主观看法是用户如何评价他们的体验,他们对操作的过程的感受如何。能把主观和客观的指标综合起来的数据监控将变得更有意义。

在事件流中,按照一定顺序的交互行为是有意义的,这与UX团队所做的一些定性研究有许多共同点,不论是在线上还是实验室,不论是什么时间段内,我观察到用户打开一个新网站时,他们倾向于迅速向下滚屏,再逐渐回滚,你可以把这个当做是第一印象指标来跟踪。基于事件流的另外一个指标是用户困惑的节点(时刻),导致用户在试图快速完成一序列行为操作时,却在中途跳失了。

用户体验指标另一个潜在来源是对定性研究数据的汇总,相对于为了取得定量数据而进行一个专门的研究,定性研究数据汇总的目的是将先前研究中的已有数据进行量化。你可以通过抓取准确的有设计决策性的指标来对定性数据汇总,例如,根据每个研究中的任务成功率,任务时间和信任度评分来,也可以从你的数据日志中统计与产品功能和设计模型相关的结果,例如X%的点击了转盘项,Y%的人筛选了搜索结果。然后可以将这些指标放到可用性,参与度和转化率等宏观的指标体系中去。

其他的用户体验指标体系

选取一些可操作的,具有设计洞察力的指标,并帮助我们提升用户体验,仅仅做到这一点还是不够的。为了让用户体验指标产生更大的影响价值,应该将这些指标和团队中的其他业务指标相结合。

本文中提到的3类宏观的体验指标整体上与大部分团队在监控的KPI是相吻合的,几乎所有的团队都跟踪参与度和转化率,但结合一些侧重于UX体验的过程性指标,可以为纯粹的业务分析和调查数据的结论增加详细的背景,从而提升研究分析的深度。虽然很多团队没有监控可用性,很显然,这一块是急需被填补的。

可用性,参与度、转化率等,与一些常用的测量框架相契合。Forrester的CX测量框架分成了3部分:

  • 描述性的指标:揭示了发生了什么

  • 感知性的指标:聚焦于用户感知到发生了什么

  • 结果性的指标:表明用户做了什么 ,基于他们的感知期待做什么

    这些指标分类基本吻合了本文中所提到的3类UX指标:可用性、用户参与度和转化。

    另外一个比较流行的框架是Avinash Kausk“看”、“想”、“做”模型,通过聚合“意识”,“思考”和“行为”的指标体系,然而,这个模型与本文中提到的现有的框架不是特别吻合,这也正好表明,在“意识”“思考”和“行为”的大类中跟踪哪些指标变得更加重要。

    小结

    在正确度量的前提下,对用户体验的度量是非常重要的,因为它即将改变你的企业和客户之间的关系。创建更好的度量指标来理解和管理用户体验会帮助企业真正做到客户第一。


    作者简介:Pamela Pavliscak ,美国用户体验战略与研究公司Change Sciences的创始人,密歇根大学信息科学硕士,在用户体验研究领域具有丰富的经验,并一直致力于从不同的数据源、不同的数据类型中,为用户体验探索更好的数据模型。


    译者:合素 mix团队用研,热衷于从数据中进行体验分析与洞察

    附录:点击下方阅读原文可以查看原文地址《Choosing the Right Metrics for User Experience》



    【声明】内容源于网络
    0
    0
    MIX无线设计
    阿里巴巴无线用户体验设计团队
    内容 33
    粉丝 0
    MIX无线设计 阿里巴巴无线用户体验设计团队
    总阅读21
    粉丝0
    内容33