Machine Learning——Logistic Regression(逻辑回归)
逻辑回归（LR）虽然名字带“回归”，但它却是一种分类方法，用于二分类问题。
具体过程：
1. 构造预测函数
逻辑回归对应二分类问题，因此需要寻找一个预测函数h，该函数的输出是两个值。一般采用sigmoid函数，其函数形式如下所示：
此函数对应一个取值在0和1之间的光滑曲线。
在此，仅考虑数据部分为线性边界的情况，对应的边界如下：
所构造的预测函数为：
考查预测函数的特殊含义：
预测函数的值表示了样本x对应的分类结果取1的概率。因此，对于输入样本x分类结果为类别1,0的概率分别为：
上式可化简为：
2. 构造损失函数
对上述推导得到的概率取最大似然估计：
对应的对数似然估计为：
目标：使得上式子取最大值，等价于如下等式取最小值：
3. 使用梯度下降法求解
梯度下降的参数更新过程如下：
其中，alpha为学习步长，梯度求解如下：
因此，梯度下降的最终更新方程如下：
至此，可以得到最终的回归函数解决二分类问题。第一篇博客！