
云咖啡讲座

美妆&电商行业对商业分析模型和技能的掌握程度要求?
如何在面试中体现自己数据可视化的能力
美妆&电商企业的BA岗位入职门槛、面试流程?
扫码回复【BI 1】报名

特殊时间,一杯咖啡钱,
足不出户,和大厂导师“Coffee Chat”
A/B测试这个概念,无论是做产品设计还是数据营销与分析的朋友们应该都不陌生。作为互联网时代一种新兴的网页优化方法,A/B测试被广泛的用于提高转化率、注册率等不同的业务指标。
A/B测试如同GitHub、Docker、APM一样在美国市场已经被各类企业逐渐采用,其测试的范围也从初期的网页优化,逐渐过渡到移动端的前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java)等,而A/B Testing对于品牌增长的效果和带来的营收也不言而喻。
A/B Testing在不同领域的应用
除了在Marketing中被广泛运用,A/B测试也是Business Intelligence(简称BI)需要掌握的重要技能。BI和传统的统计学和单纯的数据分析是有所不同的。BI需要在长时间积累的大量数据中,运用算法找出对于公司商业运作和决策有利的数据,从而为决策者指定计划时提供最强有力的数据支持。
当Marketing转行到BI行业的时候,原有Marketing领域的知识,比如对消费者的了解,媒体策划,和电子商业营销的经验,都可以转换成十分宝贵的财富。这些Marketing的知识在大数据的支持下,可谓是锦上添花。
一边是对用户群体和品牌策略的经验,一边是硬核的数据分析,营销者可以更好地完善电商界面的用户体验,降低用户跳出率、提高用户转换率,最终实现营业额的增长。
A/B Testing的应用范围如此之广泛,那么今天我们就好好聊一聊A/B Testing到底是什么,适用于什么场景,以及三个通过A/B而成功增长的品牌案例。
什么是A/B测试?
A/B测试(A/B Test),顾名思义,就是将用户分成A组和B组,或者多组,选取某一变量进行对照试验。举个例子,在A/B测试中,我们可以向两组用户,在同一时刻,同一情境下,展示不同的下单键设计,从而得知,哪个设计版本更高的转换率。
A/B测试适用的场景很广泛,通常有以下三种所适合的情境:
1 当你有一个新的想法,不知道目标用户会不会喜欢。为了避免大幅度修改和大面积影响用户体验,用A/B测试可以降低风险。
2.网站跳出率很高,可能存在太多种原因了。这个时候,可以通过A/B测试找到导致网站跳出率高的原因。
3.想修改用户浏览过程中的一个小步骤,或者用户界面上的某个按钮设计,A/B测试会告诉你哪个设计能大幅度提高答复转换率。

A/B测试可以用来测什么?
千万别小看这毫不起眼, 听起来又平平无奇的A/B 测试。微软公司的搜索引擎Bing曾巧用A/B测试,在短短几小时,实现12%收入的提升。

时尚电商新宠Farfetch之前通过A/B测试了解目标用户消费群体,实现用户转换率直接飙升17%。
接下来学姐就带你研究3个惊人的A/B Testing案例, 看看这简单的设计变化是如何改变一个公司的营收和结构的:
Electronic Arts
目标:增加收入
EA 作为全职知名的游戏公司,旗下有一个最受欢迎的游戏,名为“模拟城市5”。当年在游戏上线后,两周内就大卖110万份。其中,50%的销售都来自网上下载,这要归功于一个小小的A/B测试策略。
当初在,EA发行模拟城市的新版本时,其中制作了一个促销的页面来吸引更多的玩家购买游戏。如下图所示,这个促销的广告出现在游戏购买页面显眼的地方。但最后促销的结果却没有达到预期。

这时,一个简单的A/B testing改变了一切。EA团队通过试验来检验哪种设计和布局可以获得更多收入。优化以后,一个变化是把页面上的促销信息都删除了。这个试验造成了非常令人吃惊的结果:没有促销信息的版本比最初版本提升了43.4%的预订量。结果显示人们真的很想买这个游戏,不需要额外的刺激。

在一般人固有的思维逻辑中,直接的促销可以带来购买行为,但是对于 EA 而言,这个观点并不适用。AB 测试让他们找到了可以让收入最大化的方式,否则这件事不会成为可能。
Unworthy
目标:增加访问者与网站的交互程度或者社交分享
媒体网站 Upworthy 是一家病毒式的媒体网站,正是通过 AB 测试打造了今天的成功。从一开始,从标题到内容再到网站的功能上,这家公司通过不断的测试,确保网站可以满足观众的独特并且日趋变化的需求。
当 Upworthy 的观众开始变多的时候,这个团队意识到网站上过分强调分享的设计并不能满足老用户的需求,他们无法得到更多的相关内容。
通常,有推荐内容模块的网站会让用户有更多的交互操作。Upworthy 团队知道这一点,可是他们担心推荐的内容模块会抢了网站最初对于分享的目标的注意力。但是因为他们都是有数据驱动思维的人,所以决定在做出最终决定前 AB 测试一下。
他们试验了几种不同布局和设计的推荐内容模块的版本,来衡量对 Upworthy 网站交互程度和社交分享的影响。
在几天之内跑了几次试验之后,Upworthy 团队发现了令人吃惊的结论。表现最好的推荐内容模块实际上让社交分享比最初版本提高了28%,并且让整个网站的交互程度也显著地提高了。
决定变得很容易了:Upworthy 迅速在他们网站上的每个内容页都创建了新的推荐内容模块。通过 AB 测试,这个团队既拓宽了 Upworthy 的功能又增加了转化率。


comScore
目标:获得更多商机
市场人员普遍同意当你在卖一个产品的时候,社会认同 (social proof) 将会对业务带来更多积极的影响。事实上,我们中的大多数都已经这样做了。所以怎样才能将一个普遍使用的策略变成一个具有竞争力的优势呢?通过 AB 测试,当然可以做到。
最初版本


comScore 在他们的产品页面做了一个试验。最开始的产品页面展示了社会认同程度最小的一种方式:用户引语。然而,用户引语与其他内容混杂在一起,并且显示在一个目光相对不容易捕捉到的灰色的背景里。
优化之后
这个团队试验了不同的设计版本,并加上了用户的 logo,检验是否不同的视觉设计可以使更多的访问者变成商机。
他们测试了试验中的2500个访问者,很快发现版本1(见下图)在其他的版本中脱颖而出,并且击败了留有很大空白的最初版本。用垂直的布局,并将客户的 Logo 显示在最上面,与最初相比将会带来69%的转化率提升。

为了吸引目标用户更快地下单,时尚电商往往都用A/B测试来做以下的尝试:
尝试不同的产品照片
尝试不同的产品描述
尝试不同的按钮
尝试不同的搭配
在“添加购物车”的按钮旁边加上“购买整套搭配”

A/B测试还可以用于测试用户界面上的细节,优化你的转化漏斗,包含不限于各种字体、大小、文案和信息的效果。
1标题和子标题:用户打开界面第一个吸引他们研究的就是标题,标题取得好不好就相当于第一印象好不好。
2设计和布局:设计和布局所包含的元素就比较多,比如产品图片、视频等。但是每个元素对于客户体验和最终实现成功转换都至关重要。通过A/B测试,我们可以了解文案是否简单易懂,产品讯息是否完善,客户评价和产品特点是否突出等。
3正文:有了好的标题,当然要配上引人入胜的征文啦。写作风格以及格式设置都可以通过A/B测试来检测和优化。
4网站导航:优化网站导航,可以保证用户用最少的点击和浏览时间,实现他们的目标。
5号召性用语:号召性用语,也叫做Call-to-Action(简称CTA),是促成用户真正行动最直接的部分。即使用户没有立刻购买,哪怕他们填写了讯息,也是实现未来转换的第一步。因此,通过对不同号召性文案、背景颜色、字体、和大小等进行A/B测试,找到转化率最高的版本,将能最快找到优化和提高转化率的方案。

A/B测试使用注意事项
A/B测试,这么好的一个工具,一直以来备受各大公司喜爱。面试的时候,要是被问到A/B测试,哪些坑一定要避开?
什么时候应该用A/B测试?
A/B测试确实是十分热门的工具,但是,也不是每个情况都适用。千万不要觉得,随口抛出一个A/B测试就能震慑出面试官。面试官可都是见过大风大浪的人,一个A/B测试是糊不住的。当测试目标明确,对测试对象有清楚认知时,A/B测试才更容易得到量化的结果、更高效地验证假设。
A/B测试中,我应该测试几个变量?
当被问到这题时,大家一定要记住,这是一个坑,面试者给你挖的坑。如果一次性测试多个变量,你怎么知道到底是哪个变量导致结果不同?你怎么知道到底要优化哪个元素?所以,A/B测试只能测试一个变量!一个变量!一个变量!重要的事情说三遍。如果有不同变量,可以做一系列单变量测试,实现逐步优化。
A/B测试测试几个版本合适?
前面我们提到过,A/B测试字面意思是分成两组,当然我们也可以进行多组测试。但我们也提到了,每次测试只能对一个元素进行测试,不然测试结果不仅混乱也不具参考性。所以,当要测试超过多个版本的时候,一系列的测试更加合适。

对于Data Science、Business Intelligence和Marketing Analytics这些求职方向的同学来说,打好专业基础是最为重要的一件事。例如,学会使用SQL、 Python深度分析产品上线数据、预测用户需求、进行用户倾向分析和市场走势分析等等。
全球公司开始支持全球云入职的形势下,求职者的战场从线下转战线上,求职变得更加多元化。无论地处何方,候选人都可面试全美国的职位,而本地候选人也失去了原有的优势。
这个时期,工作中需要掌握的技能,职场的软实力就变得格外重要。想要夯实自己的软硬实力,跟随学姐,参加职图的飞跃实战!
在真实商业实操项目中获得经验的同时,将高薪岗位JD上要求的硬技能一网打尽!拿下高薪职位Offer!

职图有很多Data Analyst方向的同学拿到了心仪的Offer!
S学员
学校:University of Virginia
专业:Statistics
Offer:Capital One,Data Analyst的全职Offer
V学员
学校:University of San Francisco
Offer:Johnson & Johnson Data Product Manager的全职Offer!
A学员
学校:Washington University in St. Louis
专业:Business Analytics
Offer:Data Analyst Intern @ Evolve Digital Labs

职图飞跃实战Business Intelligence方向马上就要开班了!参加实战的学员在6个月的时间内,通过参与真实的商业项目,学会掌握行业高薪技能!使用SQL、Python提取分析用户数据,学习用最佳方式进行A/B Testing,驱动最适合的业务决策。和数字营销组、产品设计组、数据分析组相互合作共同完成联名款产品落地和推广。





扫码添加加职图自身咨询导师
回复【飞跃 1】
了解实战项目详情!




