【机器学习】求解逻辑回归参数（梯度上升算法和牛顿法）

回顾

这篇博客【链接】我们简单介绍了逻辑回归模型，留下了一个问题：怎么求解使J(θ)$J(\theta )$最大的θ$\theta$值呢？

前面我们提到了用梯度上升法和牛顿法。那么什么是梯度上升法和牛顿法呢？

梯度上升算法

由于J(θ)$J(\theta )$过于复杂，我们从一个简单的函数求极大值说起。
一元二次函数

图像如下：

根据高中所学知识:
1. 求极值，先求函数的导数

2. 令导数为0，可求出x=2$x=2$即取得函数f(x)$f(x)$的极大值。极大值等于f(2)=4$f(2)=4$

但是真实环境中的函数不会像上面这么简单，就算求出了函数的导数，也很难精确计算出函数的极值。此时我们就可以用迭代的方法来做。就像爬坡一样，一点一点逼近极值。这种寻找最佳拟合参数的方法，就是最优化算法。爬坡这个动作用数学公式表达即为：

其中，α$\alpha$为步长，也就是学习速率，控制更新的幅度。效果如下图：

比如从(0,0)开始，迭代路径就是1->2->3->4->…->n，直到求出的x为函数极大值的近似值，停止迭代。
这一过程，就是梯度上升算法。那么同理，J(θ)$J(\theta )$这个函数的极值，也可以这么求解。公式可以写为：

那么，我们现在只要求出J(θ)$J(\theta )$的偏导，就可以利用梯度上升算法求解J(θ)$J(\theta )$的极大值了。

hθ(x)=g(θTx)=11+e−θTx$$h_{\theta }(x)=g({\theta }^{T}x)={\displaystyle \frac{1}{1+e^{-{\theta }^{T}x}}}$$

令：

求导：

可得：

求J(θ)的偏导$J(\theta )的偏导$

其中：

∂θTx(i)∂θj=∂(θ1x(i)1+θ2x(i)2+θ3x(i)3+...+θnx(i)n)∂θj=x(i)j$${\displaystyle \frac{\mathrm{\partial }{\theta }^T{x}^{(i)}}{\mathrm{\partial }{\theta }_j}}={\displaystyle \frac{\mathrm{\partial }({\theta }_1{x}_1^{(i)}+{\theta }_2{x}_2^{(i)}+{\theta }_3{x}_3^{(i)}+...+{\theta }_n{x}_n^{(i)})}{\mathrm{\partial }{\theta }_j}}=x_j^{(i)}$$

综上：

θj:=θj+α(y(i)−hθ(x(i)))∗x(i)j$${\theta }_j:={\theta }_j+\alpha (y^{(i)}-h_{\theta }(x^{(i)}))\ast x_j^{(i)}$$

牛顿法

同样，我们先来看个简单的例子。求函数值为0时的x的值。
用牛顿法迭代公式：

这个迭代 公式的意思就是：在x=x1$x=x_1$时，求得(x1,f(x1))$(x_1,f(x_1))$的切线与x轴的交点为x2$x_2$，再求(x2,f(x2))$(x_2,f(x_2))$的切线与x轴的交点x3$x_3$，依次迭代，直到找到满足要求的点。

然而，对于J(θ)$J(\theta )$我们需要求得一阶导数为0的点，那么牛顿法迭代公式可以更新为：

拓展

在多元的情况下，J′′(xn)=Hℓ(θ^)$J^{″}(x_n)=H_{\ell (\hat{\theta })}$ 海塞矩阵

三阶海塞矩阵形式为：

一阶导数

注：
此外，还可以用sklearn自带函数求解逻辑回归参数
此三种方法的python3代码实现，点击这里，对比本文公式看。