大数跨境

不懂这3个悖论、偏差和定理,你的数据敏感性真的不够!

不懂这3个悖论、偏差和定理,你的数据敏感性真的不够! 商业分析家Suri
2023-11-19
2

在这个卷出天际的时代,人人都在讲“数据”,几乎什么东西都想和“数据”沾边,大数据、数据赋能、数据运营、数字化决策、数字化营销、数字化转型等字眼和词汇层出不穷,数据分析也随之水涨船高。

数据分析已经不仅仅是分析师们必备的技能了,产品、运营、市场、销售、财务、人力等等,只要是职场上能叫得出名字的岗位,每个人都要看数据。每个岗位在招聘时都恨不得写上“具备逻辑思维能力、数据敏感性和数据分析能力”。

那么,问题就来了,什么是数据敏感性?

数据敏感性是一个很好玩的词,其中“数据”是一个非常“客观”和“定量”的词语,而“敏感性”又是一个非常“主观”和“定性”的词语。所以,正如一千个人眼中有一千个哈姆雷特,一个人眼中也有一千个对数据敏感性的理解。

有人说数据敏感性就是会使用数据分析工具。‍‍‍
不准确!我见过很多SQL、Excel、Python用的非常溜的人,但是他们对数据却很迟钝,只是机械地取数、洗数、算数‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍、看数,再重复取数......‍‍‍‍‍‍
有人说数据敏感性就是熟练使用各种数据分析方法。
也不准确!我见过很多游刃于分析方法的人,使用了很好的分析方法,最后连一个solid的结论都得不出来。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍
在我看来,数据敏感性体现在三个能力上:能用数据去揭示谎言挖掘真相;能用数据去理清复杂事物间的关系看清全貌理解全局;能用数据去应对不确定性和不完整性。‍‍
而这三方面正好对应三个著名的定理:辛普森悖论、幸存者偏差和贝叶斯定理!‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍
(1)数据如同人一样,很复杂,是会说谎的,也隐藏了很多东西。数据敏感性就是不被数据表象迷惑,能够从数据中穿透迷雾、看出真相,挖掘出隐藏在背后的本质。而这就是辛普森悖论的核心所在。
(2)古有“井蛙不可语于海,夏虫不可语冰”,是因为它们的认知受限,只看到部分的世界。数据同样如此,样本数据、局部数据、片面数据都是“幸存下来的那波人”,不能代表全体。数据敏感性就是能够走出片面和局部,不以偏概全,从整体思考问题,从全局进行谋划。而这就是幸存者偏差的主旨所在。
(‍3)万事万物充满了不确定性,不确定性已经是这个世界的主旋律,但不确定性不代表完全不可预测。数据敏感性就是能用概率思维去预测这种不确定性。而这就是贝叶斯定理的精髓所在。
|一、辛普森悖论:穿透迷雾、看出真相、挖掘本质
很早以前,有个叫辛普森的统计学家提出了“辛普森悖论”,英文名叫“Simpson's paradox”,这个理论奠定了他在统计学的地位。‍‍
1. 辛普森悖论到底是什么呢?
当一种现象在整体数据中存在显著关系时,但在分组数据中却存在完全相反的现象,叫辛普森悖论。也就是说在分组比较中都占优势的一方,在总评中有时反而是失势的一方。
这样说还是有些难懂。用生活中更通俗的话来说,当你发现自己各项能力都不如别人的时候,并不代表你的综合实力也劣于他。
举个例子,我们来看两所高中升学率的比较。“实验高中”的整体升学率优于“卓越高中”,数据见下图。‍
但是,奇怪的现象发生了,当分理科和文科分别观察两所高中的升学率时,就会发现:“实验高中”在理科和文科的升学率都弱于“卓越高中”!这就是辛普森悖论。
2. 为什么会出现辛普森悖论?
对总体进行了第三个维度的拆分后,由于不同分析对象在这个维度的比例结构有差别,最终导致了辛普森悖论的发生。
比如,我们对实验高中和卓越高中进行了文科和理科拆分,由于两所学校文科和理科学生的占比结构存在差异,所以导致整体升学率和文理科的升学率不一致的情况。
也就是说,如果两个分析对象在所有的维度上的比例结构都一致,则不会出现辛普森悖论。
3. 辛普森悖论给我们的启示是什么?
数据分析时千万不能只看整体的数据结果,一定要进行下钻分析,考虑不同的组别或不同的背景条件对结果的影响。
同时,数据是一个有力的武器,它既包含了事实也隐藏了谎言。它既能澄清现实,也能混淆是非;有人用它去引导正确的决策;也有人故意去蒙骗误导决策者,做出错误决策。而我们就需要有这种穿透迷雾、看出真相、挖掘本质的数据敏感性。
同时,辛普森悖论也告诉我们一些非常好的人生感悟。
  • 当自己各项能力都不如别人的时候,这时不要妄自菲薄,有可能自己的综合实力可能优于他人。
  • 当自己的综合实力强于他人时,这时不要骄傲自大,有可能自己的单项能力不如他人。
|二、幸存者偏差‍‍‍‍‍‍‍:整体思考、全局看问题、通盘谋划‍‍‍‍‍‍‍
1. 什么是幸存者偏差?‍
幸存者偏差的背景发生在二战时期。当时,英国和德国在空战中损失了不少轰炸机和飞行员。英国军部研究的一大课题就是:在轰炸机的哪个部位装上更厚的装甲,可以提高飞机的防御能力从而减少飞机坠毁的损失?
当时,有两波人提出了建议。‍‍
 第一波人来自军方。‍‍‍‍‍
他们研究了从空战中飞回来的幸存飞机,发现飞机的机翼部分中弹较为密集,机尾部分则中弹较为稀疏。
因此,通过对幸存下来飞机的研究分析,军方认为应加强机翼的防护,因为该部位中弹最为集中。
第二波人是美国哥伦比亚大学统计学的教授沃德。
他认为军方统计的样本只涵盖平安返回的飞机,也就是幸存下来的飞机,却忽略了那些没有返回来的飞机。
  • 机翼上大量的弹孔表明,即使机翼承受了大量的火力还是可以返航的。
  • 机尾很少发现弹孔,并不是因为这里不容易中弹,而是因为这里只要被打中,飞机就飞不回来了。
因此,沃德教授认为应加强机尾部位的防护。
最终沃德教授的建议被采纳,并且后来证实该决策是正确的。
看不见的弹痕最致命,看得见的弹痕却说了谎。死去的人不会说话,却最可能是知道真相的人;活着的人会说话,但他们却往往被真相掩盖。‍‍‍‍‍
2. 幸存者偏差告诉我们什么道理?‍‍‍
分析数据,看待事物,要通盘谋划,要考虑到那些已经消失或失败的个体对数据的影响。观察统计时,要考虑样本的随机性和全面性,不能用局部样本代替总体随机样本从而对总体的描述出现偏差,只看到了局部世界。而数据敏感性就是要看清全貌、整体思考、全局谋划。
|三、贝叶斯定理:概率思维应对诸事的不确定性‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍
贝叶斯定理对统计学和概率论的影响极为重大,遗憾的是他的提出者贝叶斯在生前并没有享受到荣光,在死后他的定理才得到重视和传播。
1. 什么是贝叶斯定理?‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍
贝叶斯定理指的是在信息和条件有限的情况下,基于过去的数据(先验概率),通过动态调整的方法(调整因子),帮助我们一步步预测出事件发生的接近真实的概率(后验概率)。

其根本思想是:后验概率 = 先验概率 * 调整因子。

通俗地解释一下,当我们对未知或者不确定的事情做决策时,我们内心都没有准确的答案。但我们每个人都会基于过去的经验对这个事情有一个基本的认知,给出一个初始的方案,这就是先验概率;之后呢,我们通过不断地学习和研究,去调整对初始方案的认知,我们称之为调整因子;最后通过不断调整就会得到最终的方案,做出最终的决策,我们称之为后验概率。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍
在这里,我们不对贝叶斯的公式去做进一步解释,如果你想深入地学习,为了不显得那么枯燥,看下面的图或许更有助于理解。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍


2. 贝叶斯定理告诉我们什么道理?‍‍‍
人生和世界的不确定性是常态,我们要接受不确定性。不确定性不意味着完全不可控,有些事情不确定的概率是10%,有些事情不确定的概率是90%,我们要做的不是100%准确,而是借助概率思维去预测,去降低不确定性,去提升确定性。‍‍
认知和数据都是不完整的,人生也总是有缺憾的,我们要接受不完整性和缺陷。认知不是一成不变的,在初始认知不足的时候,学会用动态调整思维,通过不断学习,去调整弥补认知的不完整性和缺陷。
而数据敏感性就是用“概率思维”和“动态调整思维”,分别去应对事情的不确定性和认知的不完整性。‍‍‍‍‍‍‍‍‍



最后,做一下新书宣传。

我把商业分析和数据分析的流程、方法论、实践案例进行了系统梳理和总结,撰写了一本书:《商业分析方法论和实践指南》。

新书耗时1年的心血,目前已上市,可在京东、当当、天猫等购买!

全书总共58万字,分6篇15章,阐述了由业务、数据、方法论和案例实战构成的商业分析循环全景图。

  1. 第1篇以一个经典案例揭示商业分析的神秘面纱,描述了商业分析的能力模型、岗位类型和工作流程。

  2. 第2篇重点介绍商业分析的起源“业务”,从三个方面讲述如何了解和熟悉业务。

  3. 第3篇通过4个章节介绍如何量化业务,将业务指标化和数据化。

  4. 第4篇通过4个章节介绍商业分析的归宿“业务”,即如何在实际工作场景中利用数据驱动业务优化和增长。

  5. 第5篇揭示了商业分析的重生和新一轮的循环。即如何进行新业务评估,如何进行新业务的量化,如何驱动新业务的优化和增长。

  6. 第6篇登高望远,展望了商业分析的发展前景,提出了锻炼商业分析能力的四种方法,总结了商业分析必经的四条路径和发展阶段。

【声明】内容源于网络
0
0
商业分析家Suri
1234
内容 287
粉丝 0
商业分析家Suri 1234
总阅读2
粉丝0
内容287