吴恩达机器学习笔记2——logistic回归2

1. 代价函数

吴恩达机器学习笔记2——logistic回归2
吴恩达机器学习笔记2——logistic回归2
解释: 在输出的预测值是h(x),实际标签是y的情况下,我们希望学习算法付出的代价。

然而,这个代价函数在线性回归里可以,很好用。
但是在logistic回归中,就并不适用,会出现一些问题。

实际上,用这个代价函数的话,会变成关于θ的非凸函数。
因为h(x)本身就是非线性,再去平方加和,更是非线性,就可能会使得代价函数的图形变为下图左边
这种图用梯度下降算法的话,可能会找到好多局部最优,但并不一定是全局最优。
吴恩达机器学习笔记2——logistic回归2
我们是希望右图这种,可以保证使用梯度下降法会收敛到该函数的全局最小值。

那么我们如何找到别的代价函数是凸函数,并且当使用梯度下降算法时,算出来的是全局最优,能够找到全局最小值?

logistic回归的代价函数

吴恩达机器学习笔记2——logistic回归2
解释这个代价函数当y=1的情况:
h(x)取值在[0,1] ,是预测值
y=1 是实际的分类情况
这个图: 当h(x)是1 时,说明完全分类正确,代价函数为0

吴恩达更加详细的解释在下图:吴恩达机器学习笔记2——logistic回归2
如果我们预测这个病人得癌症的概率是0,但是他实际上真的得癌症了,那么我们需要付出非常非常大的代价。

吴恩达机器学习笔记2——logistic回归2