---

写这个博客是因为最近我在Coursera上学习吴恩达的机器学习课程，为了巩固所学，记录在学习中遇到的一些问题。之后每一周都会在这里进行分享。

第一、二周的内容是围绕线性回归展开的，其中最重要的一个部分就是梯度下降法(Gradient Descent)，这是一个用来求解假设$h_\theta(x)$hθ​(x)中参数$\theta$θ的算法。下面就是我在学习梯度下降法时遇到的一些值得注意的点。

1. Simultaneous Update

梯度下降法中，需要通过不断迭代更新参数$\theta$θ（每一次迭代可能会用到所有训练样本，也有可能只用到一个训练样本，这就是批梯度下降和随机梯度下降的区别，这将会在第3点讲到），直到cost function $J_\theta(x)$Jθ​(x)收敛。在更新过程中，$\theta$θ中的所有参数$[\theta_0 \space \theta_1 \space ... \space \theta_n]$[θ0​ θ1​ ... θn​]需要遵循Simultaneous Update的规则，即同时更新，以单变量的梯度下降为例，令假设为$h_\theta(x)=\theta_0x_0+\theta_1x_1$hθ​(x)=θ0​x0​+θ1​x1​，则梯度下降过程如下：
$temp_0:=\theta_0-\alpha\frac{\partial J_\theta(\mathbf{x})}{\partial \theta_0}$temp0​:=θ0​−α∂θ0​∂Jθ​(x)​
$temp_1:=\theta_1-\alpha\frac{\partial J_\theta(\mathbf{x})}{\partial \theta_1}$temp1​:=θ1​−α∂θ1​∂Jθ​(x)​
$\theta_0:=temp_0,\theta_1:=temp_1$θ0​:=temp0​,θ1​:=temp1​
之所以采取中间变量，是因为在一次迭代过程中，所有式子里$J_\theta$Jθ​都是一样的，也就是说，$\theta_0$θ0​更新后，不能立刻将$J_\theta$Jθ​中的$\theta_0$θ0​替换然后用替换后的$J_\theta$Jθ​用去更新$\theta_1$θ1​，而应该将$\theta_0$θ0​存储到某个中间变量中（如上述的$temp_0$temp0​），继续用$J_\theta$Jθ​更新，直到该次迭代结束，再将中间变量的值赋给$\theta=[\theta_0 \space \theta_1 \space ... \space \theta_n]$θ=[θ0​ θ1​ ... θn​]，完成更新，再开始下一次的迭代。

2. 梯度下降法中的减号

为什么在梯度下降法的公式中要用减号而不是加号呢？
$\theta_i:=\theta_i-\alpha\frac{\partial J_\theta(\mathbf{x})}{\partial \theta_0}$θi​:=θi​−α∂θ0​∂Jθ​(x)​
这个问题可以用画图的问题去解决：

如图，横坐标为$\theta$θ，纵坐标为$J_\theta$Jθ​，为了讲述方便，设$\theta$θ为标量，即只有一个参数。$J_\theta$Jθ​是cost function，$P_1$P1​和$P_2$P2​分别代表某次迭代前的$\theta{i}$θi，$P_3$P3​和$P_4$P4​分别代表该次迭代后的$\theta_{i+1}$θi+1​。

可以看出，$P_1$P1​点的梯度是负的，假设梯度下降法的公式中用了加号，又因为$\alpha$α为正值，那么$\theta_{i+1}$θi+1​就会比$\theta{i}$θi小，反而是向着与最优点相反的方向前进，而我们是想尽快到达最优点，所以这与我们的目标相反。

而如果梯度下降法的公式中用了减号，那么$\theta_{i+1}$θi+1​就会比$\theta{i}$θi大，是朝着最优点的方向前进的，符合我们的要求。

$P_3$P3​和$P_4$P4​的例子同理。综上所述，减号是为了确保每一次迭代都向着最优值的方向前进。

3. 批(Batch)梯度下降和随机(Stochastic)梯度下降

所谓批梯度下降，即每次迭代更新$\theta$θ时都用到所有的训练样本：
$\theta_i:=\theta_i-\alpha\sum_{j=1}^{m}{(\theta_ix_i^{(j)}-y^{(j)})x_i^{(j)}}$θi​:=θi​−αj=1∑m​(θi​xi(j)​−y(j))xi(j)​
$m$m是训练样本数量，$i$i是$\theta$θ和$x$x的下标（线性回归的假设$h_\theta=\theta_0x_0+\theta_1x_0+...+\theta_nx_n$hθ​=θ0​x0​+θ1​x0​+...+θn​xn​）
但是当训练样本数量太大时，这样的迭代速度就比较慢了，所以有了随机梯度下降法，一次迭代只用一个样本：
$\theta_i:=\theta_i-\alpha(\theta_ix_i^{(j)}-y^{(j)})x_i^{(j)}$θi​:=θi​−α(θi​xi(j)​−y(j))xi(j)​
在样本数量足够大的情况下，一轮迭代只用一个样本，既可以达到足够的迭代次数，也大大减少了运算负担。虽然这样做会使梯度下降的过程更加“曲折”，但最后仍会趋向最优值。

4. Normalized Features

在多变量梯度下降中，会涉及到多个不同的特征，这些特征不一定都是相同的数量级，比如在预测房价的问题中，房屋面积、卧室数量这两个特征就不是一个数量级。为了使梯度下降更快，我们需要对特征进行归一化。
设特征为$x_1$x1​、$x_2$x2​…$x_n$xn​（$x_0=1$x0​=1，因此无需归一化），归一化公式如下：
$x_i:=\frac{x_i-\mu_i}{\sigma_i}$xi​:=σi​xi​−μi​​
其中$\mu_i$μi​是训练样本中特征$x_i$xi​对应的那一列的平均值，$\sigma_i$σi​则是相对应的标准差（极差也可以）。

这里尤其需要注意的是：在已经得到最优参数，进行预测时，输入也要做归一化！否则输出不正确！（因为参数都是根据归一化特征得到的）

5. $\theta^T\mathbf{x}$θTx和$X\theta$Xθ之间的区别

$\theta^T\mathbf{x}$θTx：只有一个参数和一种特征的情况下会使用，多数情况下只是为了讲解方便才会使用，通常情况下都是多参数。
$\theta=[\theta_0 \space \theta_1 \space ... \space \theta_n]^T$θ=[θ0​ θ1​ ... θn​]T
$\mathbf{x}=[x_0 \space x_1 \space ... \space x_n]^T$x=[x0​ x1​ ... xn​]T
$\therefore \theta^T\mathbf{x}=\theta_0x_0+\theta_1x_1+...+\theta_nx_n$∴θTx=θ0​x0​+θ1​x1​+...+θn​xn​

$X\theta$Xθ：现实问题中，通常有许多特征，所以会将所有特征所有训练样本放在同一个矩阵$X$X中：
$X= \left[ \begin{matrix} x_0^{(1)} & x_1^{(1)} & x_2^{(1)} & ... & x_n^{(1)}\\ x_0^{(2)} & x_1^{(2)} & x_2^{(2)} & ... & x_n^{(2)}\\ x_0^{(3)} & x_1^{(3)} & x_2^{(3)} & ... & x_n^{(3)} \\ ... & ... & ... & ... & ...\\ x_0^{(m)} & x_1^{(m)} & x_2^{(m)} & ... & x_n^{(m)} \\ \end{matrix} \right]$X=⎣⎢⎢⎢⎢⎢⎡​x0(1)​x0(2)​x0(3)​...x0(m)​​x1(1)​x1(2)​x1(3)​...x1(m)​​x2(1)​x2(2)​x2(3)​...x2(m)​​...............​xn(1)​xn(2)​xn(3)​...xn(m)​​⎦⎥⎥⎥⎥⎥⎤​
所以
$X\theta= \left[ \begin{matrix} \theta_0x_0^{(1)}+\theta_1x_1^{(1)}+\theta_2x_2^{(1)}+... +\theta_nx_n^{(1)}\\ \theta_0x_0^{(2)}+\theta_1x_1^{(2)}+\theta_2x_2^{(2)}+... +\theta_nx_n^{(2)}\\ \theta_0x_0^{(3)}+\theta_1x_1^{(3)}+\theta_2x_2^{(3)}+... +\theta_nx_n^{(3)}\\ ...\\ \theta_0x_0^{(m)}+\theta_1x_1^{(m)}+\theta_2x_2^{(m)}+... +\theta_nx_n^{(m)}\\ \end{matrix} \right]$Xθ=⎣⎢⎢⎢⎢⎢⎡​θ0​x0(1)​+θ1​x1(1)​+θ2​x2(1)​+...+θn​xn(1)​θ0​x0(2)​+θ1​x1(2)​+θ2​x2(2)​+...+θn​xn(2)​θ0​x0(3)​+θ1​x1(3)​+θ2​x2(3)​+...+θn​xn(3)​...θ0​x0(m)​+θ1​x1(m)​+θ2​x2(m)​+...+θn​xn(m)​​⎦⎥⎥⎥⎥⎥⎤​
因为$X$X是$m*(n+1)$m∗(n+1)的矩阵，$\theta$θ是$(n+1)*1$(n+1)∗1的向量，$\theta^TX$θTX是无法运算的，所以是$X\theta$Xθ。