贝叶斯定理(Bayes\' theorem)的理解笔记

Bayes定理的理解 先验概率和后验概率(prior probability & posterior probability)

想要更好的理解贝叶斯公式,必须要搞懂几个概念:

先验概率和后验概率(也叫正向概率和逆向概率)

先验概率就是不加条件(信息)的判断某一变量的概率,可以理解为你直观上判断某一事件发生的概率。
举个例子,判断一个人是不是很聪明的概率。

后验概率是在附加了某条件后判断某一变量的概率(是一种条件概率),也可以理解为获取到了某些信息下判断某一事件的概率。
举个例子,这个人考上了大学,判断这个人是不是很聪明的概率。

二者区别可以认为是,先验概率是指缺乏某个事实的情况下描述一个变量; 而后验概率是在考虑了一个事实之后的条件概率。条件概率涉及的两个事件不是独立的。一个事件的发生必然影响另一个事件发生的概率。

条件概率(conditional probability)

条件概率公式:

贝叶斯定理(Bayes\' theorem)的理解笔记


B事件是条件,我们已经观察到B的发生,所以在B发生的条件下A发生的概率,就是A和B都发生的概率,除以B发生的概率。
这是简单条件概率的理解,而贝叶斯公式就是用来求条件概率的。

全概率公式(total probability)

(后面会用到)

贝叶斯定理(Bayes\' theorem)的理解笔记


公式表示若事件A1,A2,…,An构成一个完备事件组且都有正概率,则对任意一个事件B都有公式成立。

Bayes定理

贝叶斯公式:

贝叶斯定理(Bayes\' theorem)的理解笔记


这里通过一个例子来理解这个公式:

问题:
小鹿说,他的女神每次看到他的时候都冲他笑,他想知道女神是不是喜欢他呢?

建模:

分析给定的已知信息和未知信息:

1)未知条件:女神喜欢你,记为A事件,P(A) :表示A事件发生的概率。

2)已知条件:女神经常冲你笑,记为B事件,P(B) :表示B事件发生的概率。

3)要解决的问题:P(A|B) 表示女神经常冲你笑这个事件(B)发生后,女神喜欢你(A)的概率。

那么再回到公式,我们可以知道以下信息:

1)先验概率
在这个问题当中,P(A)就是先验概率,就是不知道B或者其它信息的情况下,对A发生的一个判断。也就是说,你不知道任何情况的前提下,女神喜欢你的概率,假设是50%,也就是说可能喜欢你,也可能不喜欢。

2)后验概率
P(A|B)称为"后验概率"(Posterior probability),即在B事件发生之后,我们对A事件概率的重新评估。这个例子里就是在女神冲你笑后,对女神喜欢你的概率重新预测。

3)可能性函数(Likelyhood)
我们观察公式,除去 P(A)、P(A|B)还剩下一部分: P(B|A)/P(B) ,我们可以理解为这是一个调整因子,即对新信息事件B的发生后做出的调整,作用是使得先验概率更接近真实概率。
可以理解为,你一开始有了个推断P(A),女神有50%的可能性喜欢你,但是后来你知道了P(B),女神经常冲你笑的概率,那么这时候你就需要对之前的推断做出调整,而这个“可能性函数(Likelyhood)”就是这个作用。

如果"可能性函数"P(B|A)/P(B)>1,意味着"先验概率"被增强,事件A的发生的可能性变大;
如果"可能性函数"P(B|A)/P(B)=1,意味着B事件无助于判断事件A的可能性;
如果"可能性函数"P(B|A)/P(B)<1,意味着"先验概率"被削弱,事件A的可能性变小。

在这里,假如这个可能性函数是1.5(可以理解为,女神平常比较高冷,但是经常只对你笑,意味着喜欢你的可能性变大)

我们将数据代入公式:P(A|B)=P(A) × P(B|A)/P(B)= 50%×1.5 =75%

说明在女神经常对你笑的情况下,喜欢你的概率是75%哦

深入理解贝叶斯公式

先根据以往的经验预估一个"先验概率"P(A),然后加入新的信息(实验结果B),这样有了新的信息后,我们对事件A的预测就更加准确。

因此,贝叶斯定理可以理解成下面的式子:
后验概率(新信息出现后A发生的概率) = 先验概率(A发生的概率) x 可能性函数(新信息带出现来的调整)
即:
P(A|B) = P(A) × (P(B|A)/P(B))
贝叶斯的底层思想就是:
如果我能掌握一个事情的全部信息,我当然能计算出一个客观概率(古典概率、正向概率)。
可是生活中绝大多数决策面临的信息都是不全的,我们手中只有有限的信息。既然无法得到全面的信息,我们就在信息有限的情况下,尽可能做出一个好的预测。也就是,在主观判断的基础上,可以先估计一个值(先验概率),然后根据观察的新信息不断修正(可能性函数)。

结合全概率公式

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zwzwdx.html