机器学习的数学基础

这里我主要总结一下我正在看的Bishop的"Pattern Recognition and Machine Learning"里面的内容。

1：概率论基础

边缘概率：只观察某个变量的概率。如存在X,Y两个变量，P(X)和P(Y)都是边缘概率（marginal probability）

联合概率：同时观测两个变量的值，此时的概率。如P（X=i,Y=j）就是联合概率（joint probability）

考虑上面这个图，每一个格子就代表X=i,Y=j的数量，总的数量为N，那么联合概率P(，）= /N.

 边缘概率可以根据联合概率进行计算。通过上面的图可以看出，要求某个的边缘概率，那么只需要求某一列的概率就行了，又因为每一列包含了多个Y的值，因此只需要累加就行了：

 条件概率(conditional probability)是已知某个条件后求另一变量的值，比如说已知X=i,求Y=j的概率，使用上面的图可以看出，只需要用一列中某个格子的值除以该列的值（个数）就行了：

条件概率和联合概率的区别就是条件概率是一个的底数是某一列的个数，一个是全部的数量N，所以一般来说条件概率是比联合概率大的，从公式也可以看出。下面列举了通过联合概率求边缘概率的公式：

贝叶斯公式如下：

由于联合概率可以写成条件概率的形式，因此边缘概率也可以用下面的公式计算：