逻辑斯蒂回归(logistic regression)

1.逻辑斯蒂分布

     假设X是连续随机变量,如果X服从以下分布函数和密度函数:

逻辑斯蒂回归(logistic regression)

则称X服从逻辑斯蒂分布,其中逻辑斯蒂回归(logistic regression)为位置参数,逻辑斯蒂回归(logistic regression)为形状参数。

其中分布函数和密度函数的图像如下:

逻辑斯蒂回归(logistic regression)

分布函数是一条S曲线,关于逻辑斯蒂回归(logistic regression)中心对称,即满足下式:

 

逻辑斯蒂回归(logistic regression)

曲线在中心增长较快,在两边增长较慢, 逻辑斯蒂回归(logistic regression)越小,曲线在中心增长越快。

2.二项逻辑斯蒂分布

     二项逻辑斯蒂分布是一种分类模型

逻辑斯蒂回归(logistic regression) 

逻辑斯蒂回归(logistic regression) 一个事件的几率(odds)是指该事件发生的概率和不发生概率的比值, 如果某个事件发生的概率为p,则对数几率(log odds)或logit函数为:

逻辑斯蒂回归(logistic regression)

因此对逻辑斯蒂回归而言

逻辑斯蒂回归(logistic regression)

 由上式我们知道,输出Y=1的对数几率是由输入x的线性函数表示的模型。

因此根据6.5我们知道到w*x越大P(Y=1|X)越大。

3. 模型参数的估计

逻辑斯蒂回归(logistic regression)

因此我们可以把逻辑斯蒂回归问题转化为 以对数似然函数为目标函数的最优化问题。