Logistic回归

Logistic回归是一种经典的统计学分类方法，被广泛应用于生产环境中。本文主要介绍Logistic回归模型的原理以及参数估计、公式推导方法。

Sigmoid函数(Logistic函数)

Sigmoid函数的数学形式是：

f (x) = \frac{1}{1 + e^{- x}}

其函数图像如下：
Logistic回归（理论篇）
其图形是一个S型曲线，关于 $(0, \frac{1}{2})$ 对称，取值在[0,1],因此可以作为一个概率分布。
Sigmoid函数的导数为：

\begin{aligned} f (x)^{'} & = - \frac{e^{- x}}{(1 + e^{- x})^{2}} \\ = \frac{1}{(1 + e^{- x})^{2}} (1 - \frac{1}{1 + e^{- x}}) \\ = f (x) (1 - f (x)) \end{aligned}

将线性函数的结果映射到Sigmoid函数中，得到Logistic模型。它是一种二分类模型，由条件概率 $P (Y | X)$ 表示。随机变量 $X$ 的取值为实数， $Y$ 的取值为{0,1}。Logistic模型如下：

P (Y = 1 | x) = \frac{1}{1 + e^{- θ x}}

P (Y = 0 | x) = 1 - \frac{1}{1 + e^{- θ x}} = \frac{e^{- θ x}}{1 + e^{- θ x}}

设：

h (θ) = \frac{1}{1 + e^{- θ x}}

则Logistic模型可表示为：

P (Y = y | x) = h_{θ} (x)^{y} (1 - h_{θ} (x))^{(1 - y)})

似然函数为：

L (θ) = \prod h_{θ} (x^{(i)})^{y^{(i)}} (1 - h_{θ} (x^{(i)})^{1 - y^{(i)}})

对数似然函数为：

l (θ) = \sum (y^{(i)} l o g h_{θ} (x^{(i)}) + (1 - y^{(i)}) (1 - l o g h_{θ} (x^{(i)})))

求

l (θ)

的极大值，得到

θ

的估计。
为了和线性回归保持一致，两边同时乘以

- 1

得到目标函数：

J (θ) = - \sum (y^{(i)} l o g h_{θ} (x^{(i)}) + (1 - y^{(i)}) (1 - l o g h_{θ} (x^{(i)})))

求得

J (θ)

的极小值

对 $θ$ 求偏导得：

\begin{aligned} \frac{\partial J (θ)}{\partial θ_{j}} & = - \sum (y^{(i)} \frac{1}{h_{θ} (x^{(i)})} - (1 - y^{(i)}) \frac{1}{1 - h_{θ} (x^{(i)})}) \frac{\partial}{\partial θ_{j}} h_{θ} (x^{(i)}) \\ = - \sum (y^{(i)} \frac{1}{h_{θ} (x^{(i)})} - (1 - y^{(i)}) \frac{1}{1 - h_{θ} (x^{(i)})}) h_{θ} (x^{(i)} (1 - h_{θ} (x^{(i)}) \frac{\partial}{θ_{j}} θ x \\ = \sum (h_{θ} (x^{(i)}) - y^{(i)}) x_{j}^{(i)} \end{aligned}

采用随机梯度下降法求参数的更新公式为：

θ := θ - α (h_{θ} (x^{(i)}) - y^{(i)}) x_{j}^{(i)}