Logistics回归模型

逻辑斯蒂回归模型定义

二项逻辑斯蒂回归模型是如下条件的概率分布：
$P(Y=1|x)=\frac{e^{w\cdot x+b}}{1+e^{w\cdot x+b}}$P(Y=1∣x)=1+ew⋅x+bew⋅x+b​
$P(Y=0|x)=\frac{1}{1+e^{w\cdot x+b}}$P(Y=0∣x)=1+ew⋅x+b1​
记 $\widehat{w}$w 为(w;b),记$\widehat{x}$x为(x,1)上述两式可写成：
$P(Y=1|x)=\frac{e^{\widehat{w}\cdot \widehat{x}}}{1+e^{\widehat{w}\cdot \widehat{x}}}$P(Y=1∣x)=1+ew⋅xew⋅x​
$P(Y=0|x)=\frac{1}{1+e^{\widehat{w}\cdot \widehat{x}}}$P(Y=0∣x)=1+ew⋅x1​

假设有{X₁,X₂,X₃…X_n}的样本，正例类别记为y=1，反例类别记为y=0；则X_i服从未知参数为p的伯努利分布，那么每个X_i的概率质量函数为：
$f=p^{y_{i}}(1-p)^{1-y_{i}}$f=pyi​(1−p)1−yi​
其似然函数为：
$L(p)=\prod_{i=1}^{n}f=p^{y_{1}}(1-p)^{1-y_{1}}\times p^{y_{2}}(1-p)^{1-y_{2}}\times ...\times p^{y_{n}}(1-p)^{1-y_{n}}$L(p)=i=1∏n​f=py1​(1−p)1−y1​×py2​(1−p)1−y2​×...×pyn​(1−p)1−yn​
取对数似然可得：
$lnL(p)=\sum_{i=1}^{n}[ y_{i}ln(p)+(1-y_{i})ln(1-p)]$lnL(p)=i=1∑n​[yi​ln(p)+(1−yi​)ln(1−p)]
将
$P(Y=1|x)=\frac{e^{\widehat{w}\cdot \widehat{x}}}{1+e^{\widehat{w}\cdot \widehat{x}}}$P(Y=1∣x)=1+ew⋅xew⋅x​
代入化简得：
$\sum_{i=1}^{n}[y_{i}(\widehat{w}\cdot \widehat{x_{i}})-ln(1+e^{\widehat{w}\cdot \widehat{x_{i}}})]$i=1∑n​[yi​(w⋅xi​​)−ln(1+ew⋅xi​​)]
以$\widehat{w}$w为变量，最大化该似然函数即可。

从几何角度看逻辑回归

以对一维的样本数据分类为例，样本点为X={1,2,3,4,5,6}，对应的类别分别为Y={0,0,0,1,1,1}，经过逻辑回归训练后的结果为：w=7.316 b=25.470 。

即 $\widehat{w}=[7.316,25.470]^{T}$w=[7.316,25.470]T
根据$P(Y=1|x)=\frac{e^{\widehat{w}\cdot \widehat{x}}}{1+e^{\widehat{w}\cdot \widehat{x}}}$P(Y=1∣x)=1+ew⋅xew⋅x​
带入$\widehat{w}$w和测试样例$\widehat{x_{i}}$xi​​，求得P值：当P>0.5时将其判定为1（正例），否则判定为0（反例）。

意义：

只看样本而不看样本类别时，样本X里的元素就是数轴上的6个点；而使用加上样例类别时，变成了二维面上的点，从X={1,2,3,4,5,6}和Y={0,0,0,1,1,1}到 （X,Y）={(1,0),(2,0),(3,0),(4,1),(5,1),(6,1)}, 此时，就是寻找一条线拟合(X,Y)的这些点，这条线就是函数
$f(x)=\frac{e^{\widehat{w}\cdot \widehat{x}}}{1+e^{\widehat{w}\cdot \widehat{x}}}$f(x)=1+ew⋅xew⋅x​
如下图：

此时该问题变成了线性回归问题，即寻找一条线，最大程度拟合(X,Y)={(1,0),(2,0),(3,0),(4,1),(5,1),(6,1)}这些点。

此时为样本只有1个特征的例子，当样本点有两个特征时，可以转化为求一个柱面拟合$(X_{1},X_{2},Y)$(X1​,X2​,Y)上的所有点（该柱面的垂直投影形状为$y=\frac{e^t}{1+et} $），更多特征时，类似寻找超平面拟合所有点$），更多特征时，类似寻找超平面拟合所有点(X_{1},X_{2},…,X_{n},Y)$