逻辑回归的成本函数



注,本文是在学习吴恩达老师(Andrew Ng)网易公开课课程的的学习总结和理解,希望与君共勉!

1.在逻辑回归数学模型那篇博文中我们提到,当你做Logistic Regression的时候,在x和y为已知的情况下(比如是猫还是非猫),学习得到参数w和b,使得y帽尽可能的接近y。

2. 为了表达y帽尽可能的接近y,我们需要定义个lost 函数,我们可以定义lost函数为

逻辑回归的成本函数

但是这个函数由于是局部收敛的,满足不了梯度下降算法。

3. 为此我们需要从新定义一个下面这样的函数,这个函数是全局收敛的。

逻辑回归的成本函数

4. Cost函数的定义为整个训练集上lost函数和的平均。

逻辑回归的成本函数

5. 有了lost函数来表达y帽接近y的程度,越接近lost函数的值越小,当两个相等时,lost函数的值为0.

于是逻辑回归的本质就可转化为:在x和y为已知的情况下(比如是猫还是非猫),学习得到参数w和b使得Cost函数的取值尽可能的小。

逻辑回归的成本函数