我已经有两年 ML 经历，这系列课主要用来查缺补漏，会记录一些细节的、自己不知道的东西。

已经有人记了笔记（很用心，强烈推荐）：
https://github.com/Sakura-gh/ML-notes

本节对应笔记：https://sakura-gh.github.io/ML-notes/ML-notes-html/9_Backpropagation.html

本节内容综述

1. 反向传播就是更好地进行梯度下降的方法；
2. 并不是很晦涩的数学属性，只需要知道 Chain Rule ；
3. 本节课具体阐述了反向传播算法，具体都在“小细节”里。

小细节

Chain Rule

如上，定义了损失函数，进行了简单推导后，我们只需：

• 聚焦在如何计算某一笔数据的偏微分；
• 先考虑某一个神经元。
  

如上，将$\frac{\partial l}{\partial w}$∂w∂l​拆分成两项，前者较容易计算，如下。

如下，对于某神经元，其输出对权重的偏微分就是输入。

而对于后者$\frac{\partial l}{\partial z}$∂z∂l​，依然使用链式法则拆分。假设我们的 $z$z 通过**函数得到 $a$a 。即这个神经元的输出为 $a = \sigma(z)$a=σ(z) 。接下来这个 $a$a 会乘上下一层的权重，然后再加上其他的值得到下一神经元的输入 $z'$z′ … 我们这里先不管那么多，只考虑目前这个步骤。

有 $\frac{\partial l}{\partial z} = \frac{\partial a}{\partial z} \frac{\partial l}{\partial a}$∂z∂l​=∂z∂a​∂a∂l​

这里的 $\frac{\partial a}{\partial z}$∂z∂a​ 实际上就是简单的**函数微分$\sigma'(z)$σ′(z)，如下图。

那么 $\frac{\partial l}{\partial a}$∂a∂l​ 是什么呢？

由 chain rule 可知

$\frac{\partial l}{\partial a} = \frac{\partial z'}{\partial a} \frac{\partial l}{\partial z'} + \frac{\partial z''}{\partial a} \frac{\partial l}{\partial z''}$∂a∂l​=∂a∂z′​∂z′∂l​+∂a∂z′′​∂z′′∂l​

如上图，首先易得 $\frac{\partial z'}{\partial a}=w_3$∂a∂z′​=w3​ ， $\frac{\partial z''}{\partial a}=w_4$∂a∂z′′​=w4​ ，难点在于 $\frac{\partial l}{\partial z'}$∂z′∂l​ 与 $\frac{\partial l}{\partial z'‘}$∂z′‘∂l​ 。

先把其当成常数，把式子整理一下：

$\frac{\partial l}{\partial z} = \sigma'(z) [w_3 \frac{\partial l}{\partial z'} + w_4 \frac{\partial l}{\partial z''}]$∂z∂l​=σ′(z)[w3​∂z′∂l​+w4​∂z′′∂l​]

Back propagation - Backward pass

有没有注意到$\frac{\partial l}{\partial z} = \sigma'(z) [w_3 \frac{\partial l}{\partial z'} + w_4 \frac{\partial l}{\partial z''}]$∂z∂l​=σ′(z)[w3​∂z′∂l​+w4​∂z′′∂l​]

这个式子的形式和我们前面的$\frac{\partial l}{\partial z} = \frac{\partial a}{\partial z} \frac{\partial l}{\partial a}=\sigma'(z)\frac{\partial l}{\partial a}$∂z∂l​=∂z∂a​∂a∂l​=σ′(z)∂a∂l​

很像？

因此，我们可以想象一个新的“神经元”，其输入就是 $\frac{\partial l}{\partial z'}$∂z′∂l​ 与 $\frac{\partial l}{\partial z''}$∂z′′∂l​ ，输出是 $\frac{\partial l}{\partial z}$∂z∂l​ 。此外，因为 $z$z 已经固定，$\sigma'(z)$σ′(z) 是一个常数；因此可以把这个神经元理解为一个放大器。

Case 1. Output Layer

如果下面蓝色的神经元是隐藏层最后一层，那么此时就已知神经元输出，则由下式

$\frac{\partial l}{\partial z'} = \frac{\partial y_1}{\partial z'} \frac{\partial l}{\partial y_1}$∂z′∂l​=∂z′∂y1​​∂y1​∂l​

一切都可计算：

• $\frac{\partial y_1}{\partial z'}$∂z′∂y1​​ 是**函数偏导；
• $\frac{\partial l}{\partial y_1}$∂y1​∂l​ 是 loss 对 $y_1$y1​ 偏微分。
  

Case 2：Not Output Layer

假设下图中红色的神经元并不是输出，那么：

• $z'$z′ 经过**函数得到 $a'$a′ ；
• $a'$a′ 继续到下一层，得到 $z_a$za​ 和 $z_b$zb​ 。

由上面的“放大器神经元”，我们知道有如下关系：

$\frac{\partial l}{\partial z'} = \sigma'(z') [w_5 \frac{\partial l}{\partial z_a} + w_6 \frac{\partial l}{\partial z_b}]$∂z′∂l​=σ′(z′)[w5​∂za​∂l​+w6​∂zb​∂l​]

可见，尽管我们不知道当前 $\frac{\partial l}{\partial z}$∂z∂l​ 到底是多少，但是可以通过 $\frac{\partial l}{\partial z'}$∂z′∂l​ 与 $\frac{\partial l}{\partial z''}$∂z′′∂l​ 计算；而 $\frac{\partial l}{\partial z'}$∂z′∂l​ 又可以由 $\frac{\partial l}{\partial z_a}$∂za​∂l​ 和 $\frac{\partial l}{\partial z_b}$∂zb​∂l​ 得到…由此，我们可以通过神经网络的反向传播（从 output layer 出发），一层层经过“放大器”，达到我们现在的神经元。

所以，我们算偏微分，是从后面的神经元开始算。如下。

先算 $\frac{\partial l}{\partial z_5}$∂z5​∂l​ 与 $\frac{\partial l}{\partial z_6}$∂z6​∂l​ 的偏微分，会很有效率。

接着后向传播，如上。

Summary

最后总结一下：

• 前向传播计算神经元对权重的偏微分；
• 后向传播计算目标值对神经元输出的偏微分；
• 二者相乘得到目标值对权重偏微分。