大数跨境

【算法其实没那么难】十大经典算法之贝叶斯分析

【算法其实没那么难】十大经典算法之贝叶斯分析 长风大数据
2018-05-09
1
导读:算法真有那么难?那么神秘?不是的!

算法之大,大到可以囊括宇宙万物的运行规律;

算法之小,小到寥寥数行代码即可展现一个神奇的功能。

很多人认为,算法是数学的东西,学起来特别困难。

就像拉普拉斯说得“概率论只不过是把常识用数学公式表达了出来”,

算法也只不过是把解决问题的方法数学化了而已。

上次我们图解了十大经典算法之决策树、关联规则、聚类(K-means),是不是也并没有那么难?

今天我们再来说说贝叶斯那些事:


贝叶斯的起源

贝叶斯的发明者-托马斯·贝叶斯


所谓的贝叶斯方法源于托马斯·贝叶斯生前为解决一个“逆概”问题写的一篇文章,而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前,人们已经能够计算“正向概率”,如“假设袋子里面有N个白球,M个黑球,你伸手进去摸一把,摸出黑球的概率是多大”。


而一个自然而然的问题是反过来:“如果我们事先并不知道袋子里面黑白球的比例,而是闭着眼睛摸出一个(或好几个)球,观察这些取出来的球的颜色之后,那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”?这个问题,就是所谓的逆概问题。

实际上,贝叶斯当时的论文只是对这个问题的一个直接的求解尝试,并不清楚他当时是不是已经意识到这里面包含着的深刻思想。然而后来,贝叶斯方法席卷了概率论,并将应用延伸到各个问题领域,所有需要作出概率预测的地方都可以见到贝叶斯方法的影子,特别地,贝叶斯是机器学习的核心方法之一。

要系统得搞懂贝叶斯我们需要从以下几点说起:


贝叶斯统计

首先谈概率,概率这件事大家都觉得自己很熟悉,叫你说概率的定义 , 你却不一定说的出,我们中学课本里说概率这个东西表述是一件事发生的频率, 或者说这叫做客观概率。

而贝叶斯框架下的概率理论却从另一个角度给了我们答案,他说概率是我们个人的一个主观概念, 表明我们对某个事物发生的相信程度。如同 Pierre Lapalace 说的: Probability theory is nothing but common sensereduced to calculation.  这正是贝叶斯流派的核心,换句话说,它解决的是来自外部的信息与我们大脑内部信念的交互关系

两种对于概率的解读区别了频率流派和贝叶斯流派。如果你不理解主观概率就无法理解贝叶斯定律的核心思想,我们来看一个贝叶斯统计的有趣例子:


假如你是一个女生, 你在你老公的书包里发现了一支别的女人的口红那么他出轨的概率是多少?

稍微熟悉这个问题的人会知道做这个题目你要先考察概率,你要把这个问题分解为几步考虑:

1.你老公自身出轨的概率是多少? 如果他是个天生老实巴交的程序员或者风流倜傥的 CEO , 那么显然不该一视同仁;

2.如果你老公出轨了, 那么他包里有一支口红的概率是多少? 如果他没出轨,出现这个情况概率y又是多少?  想想一般人即使出轨也不会犯那么傻的错误, 会不会有没出轨而出现口红的状况?有没有可能是某个暗恋你老公的人的陷害?

根据1 和2求解最终问题,这才是较为全面看问题的你该做的分析。

你老公在没有任何概率情况下出轨的概率是多少?如果他是个天生老实巴交的程序员或者风流倜傥的 CEO , 那么显然不该一视同仁

如果你老公出轨了,那么他有一条内裤的概率是多少, 如果他没出轨, 出现这个情况概率有多少?  想想一般人即使出轨也不会犯那么傻的错误,会不会有没出轨而出现内裤的状况? 有没有可能是某个暗恋你老公的人的陷害?


  1. 你老公在没有任何概率情况下出轨的概率是多少? 如果他是个天生老实巴交的程序员或者风流倜傥的 CEO , 那么显然不该一视同仁

  2. 如果你老公出轨了, 那么他有一条内裤的概率是多少, 如果他没出轨, 出现这个情况概率有多少?  想想一般人即使出轨也不会犯那么傻的错误, 会不会有没出轨而出现内裤的状况? 有没有可能是某个暗恋你老公的人的陷害?

  3. 根据1 和2求解最终问题,这才是较为全面看问题的你该做的分析。

在这里1其实就是先验概率 P(A),而2是条件概率 P(B|A), 最终得到3后验概率 P(A|B),这即是贝叶斯统计的三要素。

基于条件概率的贝叶斯定律数学方程极为简单:

A 即出轨, B 是口红出现, 你得到1、2,就可以根据公式算出根据根据口红出现判断出轨的概率。

先验概率在贝叶斯统计中具有重要意义,首先先验概率即我们在取得证据之前所指定的概率 P(A), 这个值通常是根据我们之前的常识,带有一定的主观色彩。 就像刚刚说的出轨的问题,你的先验概率代表了你对你老公的信心。

有一个非常有趣的现象是:如果我们的先验概率审定为1或0(即肯定或否定某件事发生), 那么无论我们如何增加证据你也依然得到同样的条件概率(此时P(A)=0 或 1 , P(A|B)= 0或1) 这告诉我们的第一个经验就是不要过早的下论断, 下了论断你的预测也就无法进化了,或者可以称之为信仰。


贝叶斯分析

贝叶斯分析的思路对于由证据的积累来推测一个事物发生的概率具有重大作用, 它告诉我们当我们要预测一个事物, 我们需要的是根据已有的经验和知识推断一个先验概率, 然后在新证据不断积累的情况下调整这个概率,整个通过积累证据来得到一个事件发生概率的过程我们称为贝叶斯分析

贝叶斯分析中的三要素(即刚讲的贝叶斯统计三要素)在不同的问题中通常侧重点不同 , 很多时候我们都是在忽略先验概率的作用,比如著名的辛普森案, 为了证明辛普森有杀妻之罪,检方说辛普森之前家暴,而辩护律师说,美国有400万女性被丈夫或男友打过,而其中只有1432人被杀,概率是2800分之一。 这其实就是错用了后验概率, 这里的条件是被杀而且有家暴,而要推测的事件是凶手是男友(事实上概率高达90%),这才是贝叶斯分析的正当用法, 而辩护律师却完全在混淆条件与要验证的假设。

贝叶斯分析在法庭上也有用


贝叶斯分析方法

什么是朴素贝叶斯举个栗子

假设给定以下数据:

提出问题:

有一对男女朋友,男生向女生求婚,男生的四个特点分别是不帅,性格不好,身高矮,不上进,请你判断一下女生是还是不嫁


判断方法:

哪一个概率大,就选择哪一个方案。


朴素贝叶斯,核心在于假设各要素(证据)之间相互独立


如果我们的贝叶斯决策中牵涉的证据更复杂呢?

如果这些证据之间不是简单独立而是互为因果呢?


贝叶斯网络:

贝叶斯网络的特性是:当某点的一个证据出现,整个网络中事件的概率都会发生变化。


有人说我们的大脑是一个贝叶斯网络,这句话也对也不对,我们的大脑学习原理的确正是一个新的证据逐步和内部信念耦合的过程,本质即贝叶斯网络,但是我们大脑又是一个不完全的贝叶斯推断机,每个人都有一个顶层以三观构建,底层逐步深入具体问题看法的贝叶斯网络,但是我们却很少有能够通过一个证据更新整个网络的能力,或者是我们吸收新证据的速度也往往十分缓慢,这是为什么我们经常具有自相矛盾的信念体系,经常一方面喊着人性解放一方面又崇拜偶像。

机器学习、人工智能、深度学习......都在让我们的决策变得更科学、更理性,这便是未来的趋势,get数据挖掘分析新技能刻不容缓


快学起来吧▼▼▼

声明:微信文章为独家原创,欢迎个人用户分享到朋友圈;其他任何形式的转载,请联系本公号取得授权,否则将追究法律责任。长风大数据(微信号:cf-dsj)隶属于Logis北京络捷斯特科技发展股份有限公司,简称:络捷斯特,证券代码:834832。

长风大数据(微信号:cf-dsj基于多行业的海量数据资源,为企业运营和院校科研提供先进的数据挖掘分析工具,帮助用户释放数据价值、捕获深层信息。

联系电话:010-65568598转8013

电子邮箱:cfdsj@logis.cn

网址:http://www.cfdsj.cn


长风大数据 一个有逼格的平台

长按,识别二维码,加关注
获取更多福利
【声明】内容源于网络
0
0
长风大数据
欢迎关注长风大数据,一起探索大数据/人工智能/智能装备等前沿技术的实战技巧。
内容 0
粉丝 0
长风大数据 欢迎关注长风大数据,一起探索大数据/人工智能/智能装备等前沿技术的实战技巧。
总阅读0
粉丝0
内容0