逻辑斯蒂回归(logistic regression)
1.逻辑斯蒂分布
假设X是连续随机变量,如果X服从以下分布函数和密度函数:
则称X服从逻辑斯蒂分布,其中为位置参数,
为形状参数。
其中分布函数和密度函数的图像如下:
分布函数是一条S曲线,关于中心对称,即满足下式:
曲线在中心增长较快,在两边增长较慢, 越小,曲线在中心增长越快。
2.二项逻辑斯蒂分布
二项逻辑斯蒂分布是一种分类模型
一个事件的几率(odds)是指该事件发生的概率和不发生概率的比值, 如果某个事件发生的概率为p,则对数几率(log odds)或logit函数为:
因此对逻辑斯蒂回归而言
由上式我们知道,输出Y=1的对数几率是由输入x的线性函数表示的模型。
因此根据6.5我们知道到w*x越大P(Y=1|X)越大。
3. 模型参数的估计
因此我们可以把逻辑斯蒂回归问题转化为 以对数似然函数为目标函数的最优化问题。