2.单变量线性回归和梯度下降(Linear Regression with One Variable and Gradient Descent)

本章编程作业及代码实现部分见：Python实现单变量线性回归和梯度下降

2.1 模型表示

       我们的第一个学习算法是线性回归算法。通过一个根据不同房屋尺寸预测住房价格例子来开始，如果房子是1250平方尺大小，这房子能卖多少钱？首先可以构建一个模型，也许是条直线，从这个数据模型上来看，以大约220000(美元)左右的价格卖掉这个房子。这就是监督学习算法的一个例子。

       它被称作监督学习是因为对于每个数据来说，我们给出了“正确的答案”，即告诉我们：根据我们的数据来说，房子实际的价格是多少，而且，更具体来说，这是一个回归问题。即根据之前的数据预测出一个准确的输出值，对于这个例子就是价格。在监督学习中我们有一个数据集，这个数据集被称训练集。

       整个课程中用小写的$m$m来表示训练样本的数目。

       以之前的房屋交易问题为例，假使我们回归问题的训练集（Training Set）如下表所示：

       我们将要用来描述这个回归问题的标记如下:

       $m$m 代表训练集中实例的数量

       $x$x 代表特征/输入变量

       $y$y 代表目标变量/输出变量

       $\left( x,y \right)$(x,y) 代表训练集中的实例

       $({{x}^{(i)}},{{y}^{(i)}})$(x(i),y(i)) 代表第$i$i 个观察实例

       $h$h 代表学习算法的解决方案或函数也称为假设（hypothesis）
                              

       这就是一个监督学习算法的工作方式，我们可以看到这里有我们的训练集里房屋价格我们把它喂给我们的学习算法，学习算法的工作了，然后输出一个函数，通常表示为小写 $h$h 表示。$h$h 代表hypothesis(假设)，$h$h表示一个函数，输入是房屋尺寸大小，就像你朋友想出售的房屋，因此 $h$h 根据输入的 $x$x值来得出 $y$y 值，$y$y 值对应房子的价格 因此，$h$h 是一个从$x$x 到 $y$y 的函数映射。
       那么，对于我们的房价预测问题，我们该如何表达 $h$h？
       一种可能的表达方式为：$h_\theta \left( x \right)=\theta_{0} + \theta_{1}x$hθ​(x)=θ0​+θ1​x，它只含有一个特征/输入变量，因此这样的问题叫作单变量线性回归问题。

2.2 代价函数

       接下来定义代价函数的概念，这有助于我们弄清楚如何把最有可能的直线与我们的数据相拟合。如图：

       在线性回归中我们有一个像这样的训练集，$m$m代表了训练样本的数量，比如 $m = 47$m=47。而我们的假设函数，也就是用来进行预测的函数，是这样的线性函数形式：$h_\theta \left( x \right)=\theta_{0}+\theta_{1}x$hθ​(x)=θ0​+θ1​x。

       接下来要做的便是为我们的模型选择合适的参数（parameters）$\theta_{0}$θ0​ 和 $\theta_{1}$θ1​，在房价问题这个例子中便是直线的斜率和在$y$y 轴上的截距。

       选择的参数决定了我们得到的直线相对于我们的训练集的准确程度，模型所预测的值与训练集中实际值之间的差距（下图中蓝线所指）就是建模误差（modeling error）。
                         

       我们的目标便是选择出可以使得建模误差的平方和能够最小的模型参数。
       即使得代价函数 $J \left( \theta_0, \theta_1 \right) = \frac{1}{2m}\sum\limits_{i=1}^m \left( h_{\theta}(x^{(i)})-y^{(i)} \right)^{2}$J(θ0​,θ1​)=2m1​i=1∑m​(hθ​(x(i))−y(i))2最小。

       我们绘制一个等高线图，三个坐标分别为$\theta_{0}$θ0​和$\theta_{1}$θ1​ 和$J(\theta_{0}, \theta_{1})$J(θ0​,θ1​)：

       则可以看出在三维空间中存在一个使得$J(\theta_{0}, \theta_{1})$J(θ0​,θ1​)最小的点。

       对于代价函数的直观理解，总结如下图：

       代价函数也被称作平方误差函数，有时也被称为平方误差代价函数。我们之所以要求出误差的平方和，是因为误差平方代价函数，对于大多数问题，特别是回归问题，都是一个合理的选择。还有其他的代价函数也能很好地发挥作用，但是平方误差代价函数可能是解决回归问题最常用的手段。

2.3 梯度下降

       梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数$J(\theta_{0}, \theta_{1})$J(θ0​,θ1​) 的最小值。

       梯度下降背后的思想是：开始时我们随机选择一个参数的组合$\left( {\theta_{0}},{\theta_{1}},......,{\theta_{n}} \right)$(θ0​,θ1​,......,θn​)，计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到一个局部最小值（local minimum），因为我们并没有尝试完所有的参数组合，所以不能确定我们得到的局部最小值是否便是全局最小值（global minimum），选择不同的初始参数组合，可能会找到不同的局部最小值。

       批量梯度下降（batch gradient descent）算法的公式为：

       其中$a$a是学习率（learning rate），它决定了我们沿着能让代价函数下降程度最大的方向向下迈出的步子有多大，在批量梯度下降中，我们每一次都同时让所有的参数减去学习速率乘以代价函数的导数。

       在梯度下降中，我们要更新${\theta_{0}}$θ0​和${\theta_{1}}$θ1​ ，当 $j=0$j=0 和$j=1$j=1时，会产生更新，所以你将更新$J\left( {\theta_{0}} \right)$J(θ0​)和$J\left( {\theta_{1}} \right)$J(θ1​)。实现梯度下降算法的微妙之处是，在这个表达式中，如果你要更新这个等式，需要同时更新${\theta_{0}}$θ0​和${\theta_{1}}$θ1​，我的意思是在这个等式中，我们要这样更新：
${\theta_{0}}$θ0​:= ${\theta_{0}}$θ0​ ，并更新${\theta_{1}}$θ1​:= ${\theta_{1}}$θ1​。
       实现方法：计算出${\theta_{0}}$θ0​和${\theta_{1}}$θ1​的值，然后同时更新${\theta_{0}}$θ0​和${\theta_{1}}$θ1​如下：
                     

2.4 梯度下降的直观理解

       我们更深入研究一下，更直观地感受一下梯度下降算法是做什么的，以及梯度下降算法的更新过程有什么意义。梯度下降算法如下：

                            ${\theta_{j}}:={\theta_{j}}-\alpha \frac{\partial }{\partial {\theta_{j}}}J\left(\theta \right)$θj​:=θj​−α∂θj​∂​J(θ)

     描述：对 ${\theta}$θ 赋值，使得$J\left(\theta \right)$J(θ)按梯度下降最快方向进行，一直迭代下去，最终得到局部最小值。其中$a$a 是学习率（learning rate），它决定了我们沿着能让代价函数下降程度最大的方向向下迈出的步子有多大。

     取这个红点的切线，就是这样一条红色的直线，刚好与函数相切于这一点，让我们看看这条红色直线的斜率，就是这条刚好与函数曲线相切的这条直线，这条直线的斜率正好是这个三角形的高度除以这个水平长度，现在，这条线有一个正斜率，也就是说它有正导数，因此，我得到的新的${\theta_{1}}$θ1​，${\theta_{1}}$θ1​更新后等于${\theta_{1}}$θ1​减去一个正数乘以$a$a。

     这就是梯度下降法的更新规则：${\theta_{j}}:={\theta_{j}}-\alpha \frac{\partial }{\partial {\theta_{j}}}J\left( \theta \right)$θj​:=θj​−α∂θj​∂​J(θ)

     如果$a$a太小或$a$a太大会出现什么情况?

     如果$a​$a​太小，即我的学习速率太小，结果就是只能一点点地挪动，可能会很慢，需要很多步才能到达全局最低点。如果$a$a太大，那么梯度下降法可能会越过最低点，甚至可能无法收敛，下一次迭代又移动了一大步，越过一次，又越过一次，一次次越过最低点，直到你发现实际上离最低点越来越远，所以，如果$a$a太大，它会导致无法收敛，甚至发散。

     假设将${\theta_{1}}$θ1​初始化在局部最低点，结果是局部最优点的导数将等于零，它使得${\theta_{1}}$θ1​不再改变，也就是新的${\theta_{1}}$θ1​等于原来的${\theta_{1}}$θ1​，因此，如果你的参数已经处于局部最低点，那么梯度下降法更新其实什么都没做，它不会改变参数的值。这也解释了为什么即使学习速率$a$a保持不变时，梯度下降也可以收敛到局部最低点。

     回顾一下，在梯度下降法中，当我们接近局部最低点时，梯度下降法会自动采取更小的幅度，这是因为当我们接近局部最低点时，很显然在局部最低时导数等于零，所以当我们接近局部最低时，导数值会自动变得越来越小，所以梯度下降将自动采取较小的幅度，这就是梯度下降的做法。所以实际上没有必要再另外减小$a$a。

     这就是梯度下降算法，你可以用它来最小化任何代价函数$J$J，不只是线性回归中的代价函数$J$J。

2.5 梯度下降的线性回归

     接下来将梯度下降和代价函数结合，并将其应用于具体的拟合直线的线性回归算法里。

     梯度下降算法和线性回归算法比较如图：

     对之前的线性回归问题运用梯度下降法，关键在于求出代价函数的导数，即：

     $\frac{\partial }{\partial {{\theta }_{j}}}J({{\theta }_{0}},{{\theta }_{1}})=\frac{\partial }{\partial {{\theta }_{j}}}\frac{1}{2m}{{\sum\limits_{i=1}^{m}{\left( {{h}_{\theta }}({{x}^{(i)}})-{{y}^{(i)}} \right)}}^{2}}$∂θj​∂​J(θ0​,θ1​)=∂θj​∂​2m1​i=1∑m​(hθ​(x(i))−y(i))2

     $j=0$j=0 时：$\frac{\partial }{\partial {{\theta }_{0}}}J({{\theta }_{0}},{{\theta }_{1}})=\frac{1}{m}{{\sum\limits_{i=1}^{m}{\left( {{h}_{\theta }}({{x}^{(i)}})-{{y}^{(i)}} \right)}}}$∂θ0​∂​J(θ0​,θ1​)=m1​i=1∑m​(hθ​(x(i))−y(i))

     $j=1$j=1 时：$\frac{\partial }{\partial {{\theta }_{1}}}J({{\theta }_{0}},{{\theta }_{1}})=\frac{1}{m}\sum\limits_{i=1}^{m}{\left( \left( {{h}_{\theta }}({{x}^{(i)}})-{{y}^{(i)}} \right)\cdot {{x}^{(i)}} \right)}$∂θ1​∂​J(θ0​,θ1​)=m1​i=1∑m​((hθ​(x(i))−y(i))⋅x(i))

则算法改写成：

     Repeat {

​       ${\theta_{0}}:={\theta_{0}}-a\frac{1}{m}\sum\limits_{i=1}^{m}{ \left({{h}_{\theta }}({{x}^{(i)}})-{{y}^{(i)}} \right)}$θ0​:=θ0​−am1​i=1∑m​(hθ​(x(i))−y(i))

​       ${\theta_{1}}:={\theta_{1}}-a\frac{1}{m}\sum\limits_{i=1}^{m}{\left( \left({{h}_{\theta }}({{x}^{(i)}})-{{y}^{(i)}} \right)\cdot {{x}^{(i)}} \right)}$θ1​:=θ1​−am1​i=1∑m​((hθ​(x(i))−y(i))⋅x(i))

​       }

     刚使用的算法，有时也称为批量梯度下降”，指的是在梯度下降的每一步中，我们都用到了所有的训练样本。在梯度下降中，在计算微分求导项时，我们需要进行求和运算，所以，在每一个单独的梯度下降中，我们最终都要对所有$m$m个训练样本求和。因此，批量梯度下降法这个名字说明了我们需要考虑所有这一"批"训练样本，而事实上，有时也有其他类型的梯度下降法，不是这种"批量"型的，不考虑整个的训练集，而是每次只关注训练集中的一些小的子集。

     还有一种计算代价函数$J$J最小值的数值解法，不需要梯度下降这种迭代算法。它可以在不需要多步梯度下降的情况下，也能解出代价函数$J$J的最小值，这是另一种称为正规方程(normal equations)的方法(后续课程会讲到)。实际上在数据量较大的情况下，梯度下降法比正规方程要更适用一些。

参考资料： 吴恩达机器学习课程;黄海广机器学习课程笔记