机器学习基础 - [第三章：逻辑回归]（3）逻辑回归模型的代价函数

1、均方误差函数为什么不能作为逻辑回归的代价函数？

我们已知线性回归模型的代价函数为为均方误差函数，如果只有单个训练样本，其代价函数也可以写成：
$cost(h_{\theta}(x)，y)=\frac{1}{2}(h_{\theta}(x) - y)^{2}$cost(hθ​(x)，y)=21​(hθ​(x)−y)2
由于把$h_{\theta}(x)=\frac{1}{1+e^{-\theta^{T}x}}$hθ​(x)=1+e−θTx1​带入上述$cost(h_{\theta}(x)，y)$cost(hθ​(x)，y)后，形成的代价函数是一个非凸函数，如果想要使用梯度下降法学习该代价函数的参数，显然无法正常工作，因此均方误差函数不适合作为逻辑回归的代价函数。

2、单个样本的逻辑回归的代价函数

逻辑回归单个样本的代价函数如下所示：


这个函数具有以下性质：
（1）对于$y=1$y=1的部分图像，当$h_{\theta}(x)$hθ​(x)接近为1时，代价函数$cost(h_{\theta}(x)，y)$cost(hθ​(x)，y)的值趋向于0；当$h_{\theta}(x)$hθ​(x)接近0时，代价函数$cost(h_{\theta}(x)，y)$cost(hθ​(x)，y)的值趋向无穷；
（2）对于$y=0$y=0的部分图像，当$h_{\theta}(x)$hθ​(x)接近1时，代价函数$cost(h_{\theta}(x)，y)$cost(hθ​(x)，y)的值趋向无穷；当$h_{\theta}(x)$hθ​(x)接近0时，代价函数$cost(h_{\theta}(x)，y)$cost(hθ​(x)，y)趋向0；