0 概述

  前两周，我们通过房价预测引入了单变量和多变量线性回归，而后又了解了一下非线性回归，归根结底它们都属于回归问题。而实际生活中还有一类问题需要我们来预测，那就是分类问题。
  本周学习如何使用逻辑回归（logistic regression）来完成分类问题的预测。
  至此监督学习的两大类问题，就齐备了。

1. 课程大纲

本周课程大纲如下图所示：

2. 课程内容

2.1 逻辑回归假设模型的引入

2.1.1 分类问题

如下图所示，即是分类问题

可以看出分类问题，多数情况是二元分类（是/不是）。

1. 当然也存在元分类{1, 2, 3, 4}，后续会提到，我们同样使用二元分类可以解决。
2. 极限情况，当分类的类别足够多的时候，实际上就转化为了回归问题。

  我们可以尝试用线性回归函数$h_{\theta}(x)=\theta_{0}+\theta_{1} x_{1}+\theta_{2} x_{2}+\cdots+\theta_{n} x_{n}$hθ​(x)=θ0​+θ1​x1​+θ2​x2​+⋯+θn​xn​解决此问题，设定一个阈值$threshold = 0.5$threshold=0.5：
if $h_{\theta}(x) \geq 0.5 \rightarrow y=1$hθ​(x)≥0.5→y=1
if $h_{\theta}(x) &lt; 0.5 \rightarrow y=0$hθ​(x)<0.5→y=0
但是线性回归有两个问题
  (1) 线性回归的值，可能远大于1或者远小于0，这样预测1和0很奇怪
  (2) 一旦引入新的样本，很容易就会破坏线性回归的预测，如下图

  引入新的样本之后，阈值分类点发生了变化，导致了分类错误。
  基于以上两点，我们不能使用线性回归来解决分类问题，我们需要找到一个满足假设函数$h_{\theta}(x)$hθ​(x)，满足其值永远在[0, 1]之间，因此就引入了逻辑回归。

2.1.2 逻辑回归的假设表示

  引入s形函数（sigmoid），$g(z)=\frac{1}{1+e^{-z}}$g(z)=1+e−z1​，其曲线图如下图所示：

  可以看到sigmoid函数的值域在[0, 1]之间。
  因此我们定义逻辑回归的假设函数位$h_{\theta}(x)=g\left(\theta^{T} x\right)=\frac{1}{1+e^{-\theta T_{x}}}$hθ​(x)=g(θTx)=1+e−θTx​1​，此时$h_{\theta}(x)$hθ​(x)的值表示预测为正类别($y=1$y=1)的概率。
  用条件概率表示如下：
  $h_{\theta}(x)=P(y=1 | x ; \theta)=1-P(y=0 | x ; \theta)$hθ​(x)=P(y=1∣x;θ)=1−P(y=0∣x;θ)

2.1.3 假设函数的决策边界

  对于假设函数$h_{\theta}(x)=g\left(\theta^{T} x\right)=\frac{1}{1+e^{-\theta T_{x}}}$hθ​(x)=g(θTx)=1+e−θTx​1​，我们假定概率大于0.5为正类，概率小于0.5位反类，则可推导 $y=1 \rightarrow h_{\theta}(x) \geq 0.5 \rightarrow \theta^{T} x \geq 0$y=1→hθ​(x)≥0.5→θTx≥0，则
$\theta^{T} x \geq 0$θTx≥0就是决策边界。
(1) 线性决策边界

$\theta^{T} x = -3+x_{1}+x_{2} \geq 0$θTx=−3+x1​+x2​≥0
(2) 非线性决策边界

$\theta^{T} x = -1+x_{1}^{2}+x_{2}^{2} \geq 0$θTx=−1+x12​+x22​≥0

2.2 逻辑回归的求解

2.2.1 定义损失函数

  回忆线性回归的损失函数为：$J(\theta)=\frac{1}{m} \sum_{i=1}^{m} \frac{1}{2}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}$J(θ)=m1​∑i=1m​21​(hθ​(x(i))−y(i))2
逻辑回归是否能够继续使用呢？答案是不行的
  因为这个损失函数，sigmoid平方项将会造成一个非凸的函数图形。
如下图所示：

  这个损失函数，无法通过梯度下降法得到全局最优解。
  因此重新定义逻辑回归的损失函数如下：
  $\operatorname{cost}\left(h_{\theta}(x), y\right)=\left\{\begin{array}{cc}{-\log \left(h_{\theta}(x)\right)} &amp; {\text { if } y=1} \\ {-\log \left(1-h_{\theta}(x)\right)} &amp; {\text { if } y=0}\end{array}\right.$cost(hθ​(x),y)={−log(hθ​(x))−log(1−hθ​(x))​ if y=1 if y=0​
  这个函数的特点就是当预测错误时，预测误差会变大，预测正确时，预测误差会趋近0。
分析当 $y=1$y=1绘制$-\log (\operatorname{h} \theta(\mathrm{x}))$−log(hθ(x))如下图：

可以看到，$h_\theta{x}$hθ​x 越接近1，$-\log (\operatorname{h} \theta(\mathrm{x}))$−log(hθ(x))越接近0，反之越接近越无穷大。
因此满足上述特点，对于第二行分析和第一行一样。

2.2.2 简化损失函数并使用梯度下降求解

2.2.1节中，我们定义了损失函数如下：
$\operatorname{cost}\left(h_{\theta}(x), y\right)=\left\{\begin{array}{cc}{-\log \left(h_{\theta}(x)\right)} &amp; {\text { if } y=1} \\ {-\log \left(1-h_{\theta}(x)\right)} &amp; {\text { if } y=0}\end{array}\right.$cost(hθ​(x),y)={−log(hθ​(x))−log(1−hθ​(x))​ if y=1 if y=0​
但是，它明显是一个分段函数，我们在计算误差的时候如果每次都要对$y$y进行判断，显然无法使用梯度下降法求解。
因此需要将其统一处理，得到简化的损失函数为：
$\operatorname{cost}\left(h_{\theta}(x), y\right)=-y \log \left(h_{\theta}(x)\right)-(1-y) \log \left(1-h_{\theta}(x)\right)$cost(hθ​(x),y)=−ylog(hθ​(x))−(1−y)log(1−hθ​(x))
对所有样本的损失函数即为：
$\begin{aligned} J(\theta) &amp;=\frac{1}{m} \sum_{i=1}^{m} \operatorname{cost}\left(h_{\theta}\left(x^{(i)}\right), y^{(i)}\right) \\ &amp;=-\frac{1}{m}\left[\sum_{i=1}^{m} y^{(i)} \log h_{\theta}\left(x^{(i)}\right)+\left(1-y^{(i)}\right) \log \left(1-h_{\theta}\left(x^{(i)}\right)\right)\right] \end{aligned}$J(θ)​=m1​i=1∑m​cost(hθ​(x(i)),y(i))=−m1​[i=1∑m​y(i)loghθ​(x(i))+(1−y(i))log(1−hθ​(x(i)))]​

使用梯度下降法不断迭代$\theta$θ可得：
$\theta_{j} :=\theta_{j}-\alpha \frac{\partial}{\partial \theta_{j}} J(\theta)=\theta_{j}-\alpha \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{j}^{(i)}$θj​:=θj​−α∂θj​∂​J(θ)=θj​−α∑i=1m​(hθ​(x(i))−y(i))xj(i)​
  可以发现逻辑回归梯度下降迭代的表达式和线性回归的一模一样，但是由于$h_{\theta}(x)$hθ​(x)的不同，其计算是完全不同的。

向量化表示：
损失函数的向量化定义如下，

$h=g(X \Theta)$h=g(XΘ)
costFunction $=\mathrm{F}(\Theta)=\frac{1}{m}\left(-\vec{y}^{T} \log (h)-(1-\vec{y})^{T} \log (1-h)\right)$=F(Θ)=m1​(−y​Tlog(h)−(1−y​)Tlog(1−h))
梯度下降计算$\Theta$Θ向量形式如下，

$\Theta :=\Theta-\alpha \frac{1}{m} X^{T}(g(X \Theta)-\vec{y})$Θ:=Θ−αm1​XT(g(XΘ)−y​)

2.2.3 高级优化算法

除了梯度下降法，还有很多其他的优化算法：
共轭梯度法，BFGS，L_BFGS

2.2.3.1 高级优化算法的优缺点

优点：不需要手动选择学习率，可以理解为它们有一个智能的内循环(线搜索算法)，它会自动尝试不同的学习速率 $\alpha$α，并自动选择一个最好的学习速率 $\alpha$α ；一般情况下比梯度下降更快收敛。
缺点：更加复杂

2.2.3.2 使用高级优化算法（fminunc）

吴恩达建议我们直接使用前人已经建立好的函数库，没必要造*。
fminunc函数的使用，这里就不详述了。具体可参见如下资料：
https://zlearning.netlify.com/communication/matlab/fminunc.html

2.3 多分类问题

  一开始我们就提到了多分类问题，$y$y{属于1, 2, 3, 4}。当我们学习了二元分类，多酚类问题怎么处理呢？
  一个最简单的想法，就是将多分类问题，转化为二元分类问题，这就是one-vs-all方法。

2.3.1 One-vs-all

将要预测的类别处理为一类，其他剩余类别当做第二类。
如下图所示有三个类别：

预测Class 1，我们吧蓝色正方形和红色Ｘ作为一类看待

因此根据One-vs-all方法，多分类问题，有多少个类就需要多少个$h_\theta(x)$hθ​(x)。

2.4 正则化引入

2.4.1 欠拟合(under fitting)和过拟合(over fitting)

欠拟合：训练数据中有显著的预测误差，如下图

过拟合：训练数据预测误差很小，但是测试数据预测误差很大，如下图

过度追求训练误差，导致泛华能力下降，预测新增数据，带来很大误差。
真正恰当的拟合曲线如下图，

注意：奥卡姆剃刀原则，在达到一定要求的基础上，模型简洁至上。
If we have too many features, the learned hypothesis may fit the training set very well (J(θ)=0), but fail to generalize to new examples(Predictions on new examples)

2.4.2 怎么解决过拟合问题

(1) 降低features的数量：手动选择要保留的特征，哪些变量更为重要，哪些变量应该保留，哪些应该舍弃；使用模型选择算法（稍后在课程中学习），算法会自动选择哪些特征变量保留，哪些舍弃。
(2) 使用正则化：保留所有的特征，但减少参数 $\theta_{j}$θj​ 的大小或者减少量级；当有很多个特征的时候，并且每个特征都会对最终预测值产生影响，正则化可以保证运作良好。

2.4.3 正则化的costFunction

  正则化的目的是为了简化假设模型，根据奥卡姆剃刀原则，越简单的模型越不容易出现过拟合。
修改costFunction如下：
CostFunction $=\mathrm{F}(\theta)=\frac{1}{2 m}\left[\sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}+\lambda \sum_{i=1}^{m} \theta_{j}^{2}\right]$=F(θ)=2m1​[∑i=1m​(hθ​(x(i))−y(i))2+λ∑i=1m​θj2​]

$\lambda \sum_{i=1}^{m} \theta_{j}^{2}$λ∑i=1m​θj2​是正则化项，它缩小每个参数的值。 $\lambda$λ 是正则化参数，$\lambda$λ 控制两个不同目标之间的取舍，即更好的去拟合训练集的目标和将参数控制的更小的目标，从而保持假设模型的相对简单，避免出现过拟合的情况。
(1) 选择的 $\lambda$λ 太大：可能会过多地消除特征，导致 $\theta$θ 都约等于 0 了，最终预测函数变成了水平直线了。这就变成了欠拟合的例子了(偏见性太强，偏差过高)。
(2) 选择的$\lambda$λ 太小：失去了正则项的意义。

2.4.4 线性回归的正则化

2.4.4.1 梯度下降方法

假设函数：
$h_{\theta}(x)=\theta^{T} x=\theta_{0} x_{0}+\theta_{1} x_{1}+\theta_{2} x_{2}+\cdots+\theta_{n} x_{n}$hθ​(x)=θTx=θ0​x0​+θ1​x1​+θ2​x2​+⋯+θn​xn​
损失函数：
$J(\theta)=\frac{1}{2 m}\left[\sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}+\lambda \sum_{j=1}^{n} \theta_{j}^{2}\right]$J(θ)=2m1​[∑i=1m​(hθ​(x(i))−y(i))2+λ∑j=1n​θj2​]
迭代函数：
$\theta_{j} :=\theta_{j}\left(1-\alpha \frac{\lambda}{m}\right)-\alpha \frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{j}^{(i)}$θj​:=θj​(1−αmλ​)−αm1​∑i=1m​(hθ​(x(i))−y(i))xj(i)​

这里$\left(1-\alpha \frac{\lambda}{m}\right)$(1−αmλ​)会恒小于1，比如0.99。于是梯度下降的过程就是每次更新都把参数乘以 0.999，缩小一点点，然后再向最小点的方向移动一下。

2.4.4.2 正规方程法

正规方程结论为：
$\Theta=\left(X^{T} X\right)^{-1} X^{T} Y$Θ=(XTX)−1XTY，其中前提条件是 $X^{T}X$XTX 是非奇异(非退化)矩阵， 即$\left|X^{T} X\right| != 0$∣∣​XTX∣∣​!=0

正则化后，上式变为：

在第二周课程中，提到了正规方程中，可以通过正则化解决不可逆问题。
因此对于正规方程，正则化相当于一石二鸟。

2.4.5 逻辑回归的正则化

假设函数：
$h_{\theta}(x)=\frac{1}{1+e^{-\theta T_{x}}}$hθ​(x)=1+e−θTx​1​

代价函数：
CostFunction $=\mathrm{F}(\theta)=-\frac{1}{m}\left[\sum_{i=1}^{m} y^{(i)} \operatorname{logh}_{\theta}\left(x^{(i)}\right)+\left(1-y^{(i)}\right) \log \left(1-h_{\theta}\left(x^{(i)}\right)\right)\right]$=F(θ)=−m1​[∑i=1m​y(i)loghθ​(x(i))+(1−y(i))log(1−hθ​(x(i)))]

正则化后的损失函数：
costFunction $=\mathrm{F}(\theta)=-\frac{1}{m}\left[\sum_{i=1}^{m} y^{(i)} \log h_{\theta}\left(x^{(i)}\right)+\left(1-y^{(i)}\right) \log \left(1-h_{\theta}\left(x^{(i)}\right)\right)\right]+\frac{\lambda}{2 m} \sum_{j=1}^{n} \theta_{j}^{2}$=F(θ)=−m1​[∑i=1m​y(i)loghθ​(x(i))+(1−y(i))log(1−hθ​(x(i)))]+2mλ​∑j=1n​θj2​

迭代运算：
$\theta_{j} :=\theta_{j}\left(1-\alpha \frac{\lambda}{m}\right)-\alpha \frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{j}^{(i)} \quad j \in\{1,2,3,4, \cdots n\}$θj​:=θj​(1−αmλ​)−αm1​∑i=1m​(hθ​(x(i))−y(i))xj(i)​j∈{1,2,3,4,⋯n}

3. 课后编程作业

我将课后编程作业的参考答案上传到了github上，包括了octave版本和python版本，大家可参考使用。
https://github.com/GH-SUSAN/Machine-Learning-MarkDown/tree/master/week3

4. 总结

  本周课程我们学习使用逻辑回归模型对监督学习中另一类问题即“分类问题”进行求解。
  并对模型的欠拟合和过拟合进行了讨论，并使用正则化对过拟合问题进行了矫正。
  逻辑回归作为重要的统计学习方法，对未来神经网络有着深远的影响，务必重点掌握。