《统计学习方法》笔记——6.13模型参数估计
《统计学习方法》中的 6.1.3 模型参数估计 一节中讲到在逻辑斯谛回归模型学习时,可以应用极大似然估计法估计模型参数,从而得到逻辑斯谛回归模型。
那么问题来了,如何应用极大似然估计法估计模型参数呢?
为了搞清楚这个问题,首先要知道似然函数是什么?这里维基百科给出的描述如下:
总结起来就是:已知有事件A发生(即6.13节中给定的训练数据集T),运用似然函数L(B|A)估计参数B。通常做法是使用极大似然估计,即对似然函数求极值点,该极值点就是我们所求参数。(我的理解是当使用某个特定的似然函数,估计参数B时也可能使用’’极小似然估计‘‘,虽然好像没这个说法,不过思想是一样的)
6.13节的似然函数含义为数据样本点属于其真实标记的概率之积,极大似然估计就是根据给定的训练数据集T(即维基百科里事件A的发生)估计参数w,使得数据样本属于其真实标记的概率最大。