机器学习之逻辑回归
逻辑回归（Logistic Regression）是一个非常经典的算法，虽然被称为回归，但是其实是分类模型。常被用于二分类问题。
Logistic分布：
如果一个随机变量的分布函数为：
则称为随机变量
服从logistic分布，
这个分布函数叫做logistic函数，其图像如图所示：
其密度函数为：
其图像如图所示：
逻辑回归的假设函数形式如下：
所以有：
其中表示我们的输入，
表示所求得的参数。
用概率 的形式表示事件是否发生：
在样本的条件下
的概率表示为：
在样本的条件下
的概率表示为：
上述两个公式合并：
为了方便求解，对等式两边同时取对数：
对于给定样本数量，我们希望上述合并之后的式子的值越大越好，也就是所谓的似然函数
因此逻辑回归的算函数可以写为（上述式子取负）：
其中表示样本书，
表示每一个样本。
通过梯度下降法求解最优的参数：
这里主要就是求偏导：
因此更新过程为: