一.贝叶斯公式带来的思考

给定某些样本D，在这些样本中计算某结论A1、A2、…、An出现的概率


也就是说，如果知道某样本D发生了，要使得Ai事件发生的概率最大，可以等价转化为，使得Ai事件发生时，样本D发生的概率最大。

二.最大似然估计

分析：即假定n个样本独立同分布，则可以用L函数表示出事件x1、x2、…xn发生的概率，这个概率与参数theta有关。可以对L函数关于theta求导，使得发生事件x1、x2、…xn的概率最大，就叫做最大似然估计。
注：由于对一个函数求对数之后，并不影响其极值和最值的分布，实践中常对似然函数先求导，从而将若干项乘积的形式转化为若干对数项加和的形式。

三.最大似然估计的应用

1.二项分布

2.正态分布

注：上述结论和矩估计的结果是一致的，且意义重大，样本的均值为高斯分布的期望。方差方面，经典意义下，分母是n-1，在似然估计的方法中，分母是n。

四.过拟合

即如果样本数n不是足够大时，要注意过拟合现象的发生，少量的样本并不一定能反应总体的分布情况，可以加入修正因子或正则化项。