【来点数学】贝叶斯公式是个啥玩意儿

前言

在学习概率统计和机器学习时,贝叶斯公式是个绕不开的话题,而我们在了解机器学习的时候也许或多或少的也会听说,机器学习分为两派:频率派和贝叶斯派。这个贝叶斯公式到底有多强大,能有这么深的影响力,利用贝叶斯究竟是如何实现预测的?

园长在本科上概率统计学习贝叶斯公式时其实也是一头雾水尤其是这个公式又长了一副很难背的样子,直到考研期间才好好回顾了这个知识点(不过这个知识点在考研中考查不多),今天就和大家一起梳理一下这个贝叶斯公式,并分享他的一个记忆技巧,也许你会发现贝叶斯公式如此简洁明了。

想看记忆技巧的同学请直接跳过,前往记忆技巧一节。

贝叶斯的数学概念

咱们就不整那些贝叶斯是何许人也,这个公式的诞生背景这些个虚的东西了,总之只要知道贝叶斯是个大佬,贝叶斯公式非常牛x就可以了。

要想看明白贝叶斯公式首先需要一些预备知识:

  1. 条件概率
  2. 乘法公式
  3. 全概率公式

学过概率论的同学对上面三个概念应该都不陌生,咱们简单来回顾一下:

条件概率

【来点数学】贝叶斯公式是个啥玩意儿
我们很容易理解P(A)表示的是事件A发生的概率。但是在现实中有很多事情的概率仅用P(A)是没有办法表示的。比如在正常情况下某个机场飞机的延误率是很低的,但是如果在气象状况很恶劣的情况下,延误率则会大大增加,这时我们就可以用条件概率来表示:

事件A:飞机延误
事件B:气象状况很恶劣
条件概率P(A|B):在气象状况很恶劣的条件下飞机延误的概率

因此,条件概率P(A|B)的含义就是在事件B的条件下,事件A发生的概率。我们已经知道了条件概率的概念,那么该如何计算呢?这时我们就要祭出一件神器,学习概率的好帮手,韦恩图。
【来点数学】贝叶斯公式是个啥玩意儿
图中蓝色圆圈的面积代表事件A发生的概率P(A),红色圆圈的面积代表事件B发生的概率P(B),而两圆重叠部分的面积则代表事件A、B同时发生的概率P(AB)。

不需要背公式,看着这个图,我们其实可以从物理意义上很直观的感受到P(A|B)应该怎么计算,在B发生的条件下A发生的概率,不就是代表A、B都发生的重合部分的面积除以整个红色部分的面积嘛,也就是:
【来点数学】贝叶斯公式是个啥玩意儿
这个公式本身非常简单,重点是要把表达的含义搞清楚,注意区分P(A|B)和P(AB)概念的区别。

乘法公式

所谓乘法公式其实是由条件概率的计算方法推导出来的,这个推导可以说及其简单了。公式两边同乘P(B),就得到了著名的乘法公式:
【来点数学】贝叶斯公式是个啥玩意儿

全概率公式

全概率公式某种意义上是乘法公式的升级版。
【来点数学】贝叶斯公式是个啥玩意儿
有两个事件A和B,事件B被划分为一组互不相容且概率大于0的完备事件组,也就是B1~B6能够组成一个完整的B。

而此时的P(A)=P(AB1)+P(AB2)+P(AB3)+P(AB4)+P(AB5)+P(AB6)

根据之前的乘法公式很容易得出:
【来点数学】贝叶斯公式是个啥玩意儿
推广一下就得到:
【来点数学】贝叶斯公式是个啥玩意儿
这也就是全概率公式。这个公式其实说明了一个问题,我们可以通过划分出的n个小事件(前提是完备的)的概率来计算出一个完整事件的概率,因此这个公式被称为全概率。

贝叶斯公式

梳理了上面的知识点,我们就可以得到大名鼎鼎的贝叶斯公式了:
【来点数学】贝叶斯公式是个啥玩意儿
将分母代入全概率公式,我们稍微整理一下就变成了:
【来点数学】贝叶斯公式是个啥玩意儿
注意,在平时写的过程中,我们最好都写成上面这个形式,顺序也不要变,下面会说为什么这样。

记忆技巧

我们现在已经得到了贝叶斯公式,那么他究竟能干什么,这个公式又有什么含义呢?别急,在实际应用之前,我们其实还有一个更现实的问题摆在眼前,那就是,这个公式,我记不住啊!
【来点数学】贝叶斯公式是个啥玩意儿
这里介绍一个记忆小技巧,我们把刚才整理好的贝叶斯公式放在这里:
【来点数学】贝叶斯公式是个啥玩意儿
看着这个式子,是不是有什么规律,跟我一起大声念:“ABABAB!”,记住ABABAB按照这个顺序去写几遍,基本上就可以完全记住贝叶斯公式了。

贝叶斯公式的含义分析

记住了贝叶斯公式,接下来的问题就是,这个公式究竟是什么含义有什么用处呢?

贝叶斯最大的作用便是用来预测!听起来很玄妙,我们来慢慢分析一下:

在经典的概率模型中,我们可以基于以往的样本实例来逼近一个事件发生的概率,比如硬币翻到某一面的概率是1/2,骰子掷出一的概率是1/6,飞机的延误率是0.01等。这样的概率我们称为先验概率,即在不知道另一事件是否发生的情况下,我们根据以往的规律,样本试验所总结出概率。

但是在生活中,我们越来越不满足于这种概率的计算,因为我们可以看到,生活中的事件往往不是独立发生的,两个事件的出现往往有着一定的联系。我们希望预测出,在另外一种事件B发生的情况下,事件A发生的概率是多少,这就是所谓后验概率

而由于先验概率基于以往的样本试验或者由事件本身的结构特点决定的,通常比较容易求得,而后验概率因为缺乏先前的经验,难以统计计算,这时候就需要贝叶斯公式出场了:
【来点数学】贝叶斯公式是个啥玩意儿
可以看到在贝叶斯公式中,P(A)就是事件A的先验概率,P(A|B)就是在事件B发生的条件下,我们要求的A的后验概率,P(B|A)/P(B)定义为可能度因子。
因此,贝叶斯公式也可以表示为,后验概率=先验概率·可能度因子。

由这个思路我们也可以把贝叶斯看作是,通过可能度因子调整先验概率来得到后验概率的过程。

实例

介绍完整个贝叶斯的相关知识,我们来做一道实际的题目巩固一下加深理解吧。
现在假设某地机场,某架航班在正常情况下的延误率是0.01,而航空公司已经统计了该航班延误有80%都是雨天造成的,这个机场所在地区平均一年中有100天会有雨。今天园长要外出旅行,不巧正好在下雨,请帮园长算一算,园长搭乘的这架航班延误的概率是多少?

解题步骤

解概率题首先要写个解
解:
其次是把事件列出来:
A:航班延误
B:下雨
已知P(A)=0.1,P(B|A)=0.8,P(B)=100/365=0.27
那么根据贝叶斯公式,下雨天条件下,园长的航班延误的概率是:
P(A|B)=P(A)P(B|A)/P(B)=0.3