机器学习逻辑回归总结
一.逻辑回归的定义
逻辑回归是一种广义的线性模型，用于二分类问题，其预测函数构h(x)造如下：
Sigmoid函数，函数形式为：
二.构造损失函数：
这里使用的是对数损失函数，它是基于最大似然估计推导的：
注意：不使用平方损失函数的原因是此时代价函数是非凸函数，存在多个极小值，不适合求解
三.参数更新过程：
这里使用的是梯度下降法来更新参数，过程如下：
注意：其中一步使用了g(z）函数的一个性质：g(z)的导数=g(z)(1-g(z))
四.正则化：
正则化是为了解决过拟合的影响，正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或惩罚项。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化项就越大。
注意：J()有点错误，前面部分应该是对数损失函数，后面部分系数加上除以2m