机器学习 之 逻辑回归

Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。
Logistic 分布是一种连续型的概率分布，其分布函数和密度函数分别为：


这个函数比较符合实际，例如蝗虫的增长速度，员工自杀率等。

Logistic 分布的形状与正态分布的形状相似，但是 Logistic 分布的尾部更长，所以我们可以使用 Logistic 分布来建模比正态分布具有更长尾部和更高波峰的数据分布。在深度学习中常用到的 Sigmoid 函数就是 Logistic 的分布函数在 μ = 0 , r = 1 \mu=0,r=1 μ=0,r=1的特殊形式。

Logistic 回归用于分类问题

我们以二分类为例，对于所给数据集假设存在这样的一条直线可以将数据完成线性可分。


这是什么？这其实是生成式模型，既然不是离散的，那么强行离散：

为什么要可微？因为要求导啊，最大似然必然要求导的。


这的确是后验估计，y是什么，y就是 p ( y = 1 ∣ x ) p(y=1|x) p(y=1∣x)，上面就这么写的，每一个类一个函数，这里是两个类。

逻辑回归就是利用sigmoid方法强行压缩参数函数，从而导致二分类，就是这么个意思了。 Logistic 回归实际上是使用线性回归模型的预测值逼近分类任务真实标记的对数几率，其优点有：

1. 直接对分类的概率建模，无需实现假设数据分布，从而避免了假设分布不准确带来的问题；
2. 不仅可预测出类别，还能得到该预测的概率，这对一些利用概率辅助决策的任务很有用；
3. 对数几率函数是任意阶可导的凸函数，有许多数值优化算法都可以求出最优解。

如何去求解模型中的参数？一般用最大似然估计(等价于最小损失)




还有牛顿法。

还会正则化防止过拟合。逻辑回归是在线性回归的基础上加了一个 Sigmoid 函数（非线形）映射，使得逻辑回归称为了一个优秀的分类算法。本质上来说，两者都属于广义线性模型，但他们两个要解决的问题不一样，逻辑回归解决的是分类问题，输出的是离散值，线性回归解决的是回归问题，输出的连续值。

逻辑回归和最大熵模型本质上没有区别，最大熵在解决二分类问题时就是逻辑回归，在解决多分类问题时就是多项逻辑回归。

LR 是一个统计的方法，SVM 是一个几何的方法