点击上方蓝色字体关注我们
做数据分析的你,是不是经常被challenge数据的准确性和可靠性!我这里梳理了一份错误清单,按照清单自查,相信能帮你避开大部分的数据错误和陷阱!今天先分享8个!
后续还有一波清单来袭,关注公众号不错过
非Apple to Apple的对比
这是对比分析时经常犯的错误。
有个经典案例:美国海军和纽约居民死亡率的对比。
在美国与西班牙交战期间,美国海军的死亡率是9‰;而同时期纽约市居民的死亡率是16‰。
通过对比得出结论:纽约居民死亡率>海军死亡率。海军征兵人员就用这些数据来证明:参军更安全!
这个案例就是一个典型的非Apple to Apple的对比。海军主要由体格健壮的年轻人组成,年轻力壮的人本来死亡率就比较低。而纽约居民涵盖了各种岁数、各种健康不健康的人群,包括大量的婴儿、老人、病患者等。他们的死亡率本来就高于年轻力壮的人。
因此,这两组对比数据根本不能证明参军更安全。强行对比导致误导结论!!
口径不一致
口径不一致,是各部门之间扯皮的根源。
你是不是非常熟悉以下场景:
(1)搞产品的老王:我们负责产品的DAU是1亿人。
(2)搞运营的老张:我们负责产品的DAU是9000万人。
(3)搞数据分析的你:DAU才8000万人呀!
经过多轮扯皮和对齐后,发现每个人都活在自己的世界里,都在用自己的数据口径:
(1)老王的DAU:统计的是启动App的设备数量。
(2)老张的DAU:统计的是启动App的用户数量。
(3)你的DAU:统计的是启动App且停留时长大于5秒的用户数量。
幸存者偏差
“幸存者偏差”的故事最早来源于二战时期英军对战斗机的改进。
在日常生活中我们经常见到的幸存者偏差场景:
(1)老师在课堂上点名:没来的同学请举手。
(2)选择交通工具时,你经常听到飞机出事率高,而汽车出事率低。
(3)推销者向你推销保健品:告知你小明奶奶喝了这种保健品病都好了。
再比如你老板让你看一下新用户的留存率,你只分析了上个月新获取的用户在当月的留存率,这里边就存在至少三种偏差:
偏差1:你只分析了“一个月”新用户的留存率,很有可能用户增长部门在这个月调整了获客渠道和获客策略,导致这个月与其他月份的结论完全不同。
偏差2:你只分析了新用户在当月的留存率,所以留存率偏高。一般情况下,新用户在当月的留存率最高,随着时间的持续和拉长,留存率会逐月降低,最终会稳定在某个值。
偏差3:你只分析了所有渠道用户的留存率,而你们公司新用户的来源渠道有很多种。有来自广告投放的、有来自线下门店的、有来自老用户推荐的等等,每条渠道带来的新用户质量和留存率是不同的。
辛普森悖论
这个是面试过程中,经常被问到的高频问题。如果你还不了解,就要补功课了。
辛普森悖论讲的是分组的数据呈现的规律与整体规律呈现相反的现象。
说句通俗的话,就是当你在各项能力,比如数据能力、写报告能力、沟通能力、演讲能力等各方面均不如你的同事时,你的总体能力不一定比你的同事差。
举个例子,某电商增长团队投放了信息流广告和搜索广告。
信息流广告获得了100个用户,其中18个用户付费购买,转化率为18%。
搜索广告也获得了100个用户,其中17个用户付费购买,转化率为17%。
那么,你是否能得出结论,信息流广告的效果一定好于搜索广告?
答案是不一定!我们细分男女用户再看一张图。
从上图中,我们看出信息流广告的男性用户和女性用户的转化率均弱于搜索广告,总体却比搜索广告好。这就出现了辛普森悖论。
当信息流广告的女性用户占比大,且女性的整体转化率优于男性时,就会出现分组数据数据差但是整体好的现象。
当我们缺乏对潜在因素的考量时,比如男女、年龄、地域等,就会出现辛普森悖论。所以,在做数据分析时,一定要注意多维度、多视角、多拆解、多下钻数据进行分析。
周期性陷阱
当你所在的业务存在明显的周期性或受节假日影响比较大时,数据分析最容易出现周期性陷阱的错误。
比如零售、滴滴打车、汽车、空调业务等。举个例子,在零售行业,周六和周日相比周一到周五的业绩增长是非常正常的现象。而当你忽略这种业务周期时,你就会误认为业务在增长。
比如下图,某零售公司在10月29日和30日(周六和周日)的GMV,从曲线上看环比周五是上涨的。
而实际上,零售业务周末GMV上涨是非常正常的。
把这条曲线稍微处理一下,得到权重曲线(黄色曲线),就会发现10月29日和30日的GMV是下降的!
在这种情况下,不关注周期,后果就是得出错误的结论:业绩明明在下降,你却认为他在上涨!!
图表和坐标轴的欺骗
在使用图表的时候,这种错误经常发生!
下面的图片是三家电商公司GMV的对比图。
(1)观察左图,先不要看坐标轴,你会得出什么结论?B>A>C
(2)观察右图,也不要看坐标轴,你会得出什么结论?三者几乎没有差距!
这时候再观察坐标轴和柱形上的数字,就会发现这是同一组数据。只是坐标轴不同,就会带来视觉上明显的差异!!!
把相关性和因果性混为一谈
相关和因果不能划等号!
比如锻炼和身体健康存在相关性,但锻炼一定能让身体健康吗?
通过统计软件的“相关性分析”可以得出某些因素之间存在相关性。
但相关性不意味着因果关系,要验证因果关系,需要通过“AB实验”加以验证。
注意各种比率的分子和分母
在使用比率进行对比时,一定要注意比率的分子和分母!!
你说的留存率、转化率、流失率、退费率、续费率等各种眼花缭乱的“率”和别人说的大概率不是一个东西。所以,搞清楚分子和分母非常重要!
假如,你的老板让你去分析一下你们和竞争对手的转化率。
你给出的结果:竞争对手的转化率为5%,你们的为10%,因此你告诉老板你们的转化率遥遥领先于竞争对手!
而实际情况是:
竞争对手的转化率=付费购买的用户数/曝光用户数
你们的转化率=注册的用户数/曝光的用户数
按照竞争对手的口径计算转化率,你们的数据为1%。真实的结论是:你们的转化率远远低于竞争对手,而你却告诉老板你们遥遥领先竞争对手!
商业分析家
扫码关注查看更多内容
点击下方在看,传递正能量

