06 Pytorch实现反向传播
反向传播
上一篇博客大致介绍了反向传播，但是没有提及到计算图的概念。比如下面我以一个两层的神经网络为例，它的 y_hat 表达式为：
下面我们来构建它的计算图：
这里需要注意的是我们现在的一个两层的神经网络的 y_hat 可以展开为：
然后我们发现不断地进行线性变换，不管你有多少层最后都会统一成
y
=
W
∗
x
+
b
y = W*x + b
y=W∗x+b 的形式，也就是如下的计算图：
也就是说层数多和层数少没什么区别。为了解决这个问题，就是要提高模型的复杂度。换句话说，就是不能将 y_hat 进行化简，化简之后增加权重完全没有意义。所以我们需要对每一层最终的输出加一个非线性的变换函数，也就是对每一层输出的向量里的每一个值都应用一个非线性的函数，比如像 Sigmoid 函数。
接下来就说说反向传播过程中的求导，曾经在高等数学中学过链式求导法则（Chain Rule）。也就是说要把复合函数上每一步的偏导数进行累积，最后就求出了整体的导数。
下面就来看看反向传播中链式求导的过程。链式求导的第一步首先要创建计算图（如下图），第一步就是前向传播（forward），它做的事情就是沿着图中的箭头，一步一步进行计算，直到得到 Loss。
那么对于输出的结果
z
z
z ,首先要计算
L
o
s
s
Loss
Loss 对于
z
z
z 的偏导。
求出
L
o
s
s
Loss
Loss 对于
z
z
z 的偏导之后，在经过
f
f
f 的时候，我们的目标是
L
o
s
s
Loss
Loss 对
w
w
w 和
x
x
x 的导数，那么在这个计算过程中我们就使用链式法则。
下面举个简单例子，比如
f
=
x
∗
w
f = x * w
f=x∗w，那么
f
f
f 对
x
x
x 的导数等于权重
w
w
w，
f
f
f 对
w
w
w 的导数等于
x
x
x，比如
x
=
2
x = 2
x=2，
w
=
3
w = 3
w=3，那么就可以计算出
z
=
f
=
x
∗
w
=
2
∗
3
=
6
z = f = x * w = 2 * 3 = 6
z=f=x∗w=2∗3=6 ，最后可以通过
z
z
z 计算出相应的 Loss，这就是前向传播的过程。
如果我们通过前向传播得到了
L
L
L 对
z
z
z 的导数为 5，那么我们想要求出
L
L
L 对
x
x
x 和
w
w
w 的 导数，就先得求出
z
z
z 对
x
x
x 和
w
w
w 的 导数，通过链式法则求出
L
L
L 对
x
x
x 和
w
w
w 的 导数。
有了这些导数之后，我们就能够做权重的更新了，以上就完成了反向传播的过程。
下面我们再来看看 y_hat =
x
∗
w
x * w
x∗w 完整的计算图。
在我们得到了 Loss 等于 1 之后，我们开始反向传播。首先算出 Loss 对于
r
r
r 的梯度。
接着计算 Loss 对于 y_hat 的梯度。
最后算出 Loss 对
w
w
w 的导数。
接下来介绍一下在 Pytorch 里面怎么进行前向传播和反向传播。首先，介绍一下 Pytorch 里面数据最基本的成员是 Tensor，它是用来存储数据的，它可以存标量，向量，矩阵或者高阶的 Tensor。它里面包含两个重要成员 data 和 grad。data 用来保存权重
w
w
w，grad 用来保存损失函数 Loss 对权重
w
w
w 的导数。
Pytorch实现反向传播
下面我们具体进行编程实现前面例子中的前向传播和反向传播。
总结
我们再来回顾一下整个计算过程：
首先我们的 w w w 设置一个初始值，将 w w w 设置为需要梯度，然后就构建出整个计算图。
构建出计算图之后，我们使用 backward 来反向计算
L
L
L 对
w
w
w 的导数，就存放在
w
.
g
r
a
d
w.grad
w.grad 成员里面。这里需要注意的是 grad 也是一个 Tensor，所以为了避免计算导数的时候构建计算图，需要使用 grad 中的成员 data 进行计算。
以上就是参数
w
w
w 相应的更新过程。
具体代码见 06 Pytorch实现反向传播.ipynb