机器学习算法——（2）逻辑回归（Logistic regression）

1、逻辑回归概述

       有的同学可能望文生义，以为逻辑回归和线性回归一样，都是返回一个预测值。在这里郑重声明，逻辑回归不是返回一个预测值，是经典的分类器，实现二分类、多分类的算法。

        在机器学习的算法选择中，是先用简单的，简单不行的话再用复杂的，所以说，先用逻辑回归再用复杂的算法。

        逻辑回归的决策边界可以是非线性的。

2、Sigmoid函数

      

Sigmoid函数

    为什么要引入Sigmoid函数？我们在线性回归中得到一个预测值，现在我们想要对这个值进行分类；Sigmoid函数的自变量范围是[ -,+]，值域是[0,1]，Sigmoid函数完美地实现值到概率的转变。

 

对于二分类的话，输出的值为0或1，输出值为1时，概率为,所以输出值为0时，概率为-，可以整合为上式。

3、逻辑回归求解

       同线性回归一样，引入似然函数，并且做log变换。此时是求的最大值，求解正数的最大值，也就是求解负数的最小值，引入负号，将问题转换为梯度下降任务，求解最小值。