简化代价函数与梯度下降
这种costfunction时由极大似然法得出。
需最小化新的cost function
最大似然估计的目的就是:利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值。
首先我们来看看Logistic回归的代价函数:
上面y=1和y=0的代价函数是不同的表达式,我们将其化简合并为同一个表达式:
约定y只能去取0或1.
现将cost的两种情况合并为一种。
使用自锁,将二者分别乘一个系数再相加,以令y取一个值时,另一项为0.
化简后的代价函数:
我们再化简梯度下降算法:
使用梯度下降法,求偏导数。
结果看似与线性回归相同,但是由于h变成了sigmoid函数,所欲实质不同。
线性回归的假设函数是蓝色的表达式,Logistic回归的假设函数是红色的表达式。