线性回归的损失函数与逻辑回归的损失函数
一、线性回归损失函数的两种解释
线性回归的损失函数是平方损失函数,为什么使用平方的形式,参考:线性回归损失函数为什么要用平方形式,讲得很清楚。
在线性回归中,对于训练数据样本
构建的损失函数是:
表示每一个训练点
这里的损失函数之所以使用平方形式,是使用了“最小二乘法”的思想,这里的“二乘”指的是用平方来度量观测点与估计点的距离(远近),“最小”指的是参数值要保证各个观测点与估计点的距离的平方和达到最小。
第二种解释是 极大似然估计误差的思想,暂时没搞明白,先保留。参考:http://blog.csdn.net/saltriver/article/details/57544704
二、逻辑回归的损失函数
逻辑回归的损失函数使用的是对数损失函数,而不是平方损失函数。平方损失函数是线性回归在假设样本满足高斯分布的条件下推导得到的,而逻辑回归假设样本服从伯努力分布(0-1分布)。
伯努利分布的概率质量函数pmf为:
1.对数损失函数的形式
伯努利分布的似然函数可以写成:
对数似然函数为:
其中的一项即为对数损失,在逻辑回归中可表示为:
其中
损失函数的图像如下所示:
2.直接根据对数损失函数的形式得到目标函数
逻辑回归
对数损失函数的标准形式为:
将逻辑回归的表达式带入对数损失函数中,可以得到:
将上式进行化简,可以得到最终的目标函数:
参考:
https://www.zhihu.com/question/27126057
http://blog.csdn.net/saltriver/article/details/63683092
http://blog.csdn.net/saltriver/article/details/57544704