LR模型推导

二项逻辑斯谛回归模型，是如下的条件概率分布。

\begin{matrix} (1) & P (Y = 1 | x) = \frac{e^{w x}}{1 + e^{w x}} \end{matrix}

\begin{matrix} (2) & P (Y = 0 | x) = \frac{1}{1 + e^{w x}} \end{matrix}

注意，这里为了方便已经将b扩充入

w

。公式(2)可以看做

\frac{1}{1 + e^{- z}}

，(Sigmoid函数)如下图
LR模型推导

指的是事件发生的概率与该事件不发生的概率的比值。假设事件发生的概率是 $p$ ，那么该事件的几率是 $\frac{p}{1 - p}$ ，对于逻辑斯谛回归模型而言，事件几率取log如下:

l o g \frac{P (Y = 1 | x)}{1 - P (Y = 0 | x)} = w \cdot x

假设： $P (Y = 1 | x) = π (x), P (Y = 0 | x) = 1 - π (x)$
似然函数：

\begin{matrix} (3) & \prod_{i = 1}^{N} [π (x_{i})]^{y_{i}} [1 - π (x_{i})]^{1 - y_{i}} \end{matrix}

公式（3）表明，对于正样本而言，右边的项为1，对于负样本而言，左边的项为1。即满足所有样本的概率最大。
对数似然函数：

\begin{matrix} (4) & L (w) = \sum_{i = 1}^{N} [y_{i} l o g π (x_{i}) + (1 - y_{i}) l o g (1 - π (x_{i}))] = \sum_{i = 1}^{N} [y_{i} l o g \frac{π (x_{i})}{1 - π (x_{i})} + l o g (1 - π (x_{i}))] = \sum_{i = 1}^{N} [y_{i} (w \cdot x_{i}) - l o g (1 + e^{w \cdot x_{i}})] \end{matrix}

如公式(4)所示，求解的是最大值问题，可以用梯度下降法(这里求最大值，实际是梯度上升，或者加负号变成梯度下降法)等优化方法求解参数

w

假设求得参数

\hat{w}

。代入公式(1)(2)即可得模型。