由相当浅入深玩转CNN(1)——超超超超超简单推导CNN反向传播

1.写在前面

相信诸位老铁，点开我这篇博客，都是想看看卷积层的反向传播和池化层的反向传播是怎么求导的，但是点开其他博客都是一大段的公式，望而止步，我之前也是介个样子。

在本次博客，我先带大家感觉一下求导的过程，严格来说，本次的CNN并非正宗的CNN，但是却可以帮助我们了解求导的过程！大家一定要看懂这一步，再看下一步，必要的时候拿出纸和笔好好算算！！

笔者在前向传播的时候，会顺便将一些导数求出，以备之后使用。

2.卷积过程

相信这个操作，大家都熟悉的一批，我不赘述了(为了不用别人的图，这么个小破gif花了好久哈哈)

卷积核$A$A对$X$X进行卷积操作，得到矩阵$Y$Y：

在这里我们先让$Y_{11}$Y11​、$Y_{12}$Y12​、$Y_{13}$Y13​和$Y_{14}$Y14​分别对$A$A矩阵中的$a_{11}$a11​和$a_{12}$a12​元素求偏导，得到以下结果：

其实，$Y_{11}$Y11​、$Y_{12}$Y12​、$Y_{13}$Y13​和$Y_{14}$Y14​对矩阵$A$A中的其他元素求偏导，也会得到类似的结果，老铁们先不要急，一会告诉大家规律。

3.池化操作

再得到矩阵$Y$Y后，我们对其进行池化(Pooling)操作，不失一般性，可以看做$B$B矩阵对矩阵$Y$Y做卷积操作，得到矩阵$Z$Z，可以将其视为单元素矩阵$Z$Z，也可以将其视为一个数$Z$Z，不过这里不影响：

令$Z$Z分别对矩阵$Y$Y元素$Y_{11}$Y11​、$Y_{12}$Y12​、$Y_{13}$Y13​和$Y_{14}$Y14​求偏导，有图右下角式子:

4.求出误差

我们得出了预测值$Z$Z，原有真实值为$R$R，采用均方误差$E=\frac{1}{2}(Z-R)^2$E=21​(Z−R)2
令误差$E$E对$Z$Z求导数:
$\frac{\partial E}{\partial Z}=Z-R$∂Z∂E​=Z−R
有:
$\frac{\partial E}{\partial a_{11}}=(Z-R)\frac{\partial Z}{\partial a_{11}}$∂a11​∂E​=(Z−R)∂a11​∂Z​

5.反向传播求偏导

此时，我们令$Z$Z对矩阵$A$A中元素$a_{11}$a11​和$a_{12}$a12​求导，同时带入我们之前求的偏导数:


$Z$Z对$A$A中其他元素求偏导结果类似(大家最好动手算一算，这波不亏的)：

可以看出，不论是$Z$Z对$A$A中哪一项元素求偏导，都会有$b_{11}、b_{12}、b_{21}和b_{22}$b11​、b12​、b21​和b22​，那我们现在关心一下，偏导中矩阵$X$X的元素：

你现在可以大胆的猜测一下，$\frac{\partial Z}{\partial a_{13}}$∂a13​∂Z​等于什么？

没错，就是矩阵$X$X右上角的4个元素和矩阵$B$B的四个元素相乘再相加。

不妨再大胆的猜一下，矩阵$Z$Z对矩阵$A$A求偏导等于什么？

等于，矩阵$X$X与矩阵$B$B做$valid$valid卷积操作，刚好是$3\times 3=9$3×3=9个元素

即：$\frac{\partial Z}{\partial A}=X*B$∂A∂Z​=X∗B

所以：$\frac{\partial E}{\partial A}=(Z-R)\times X*B$∂A∂E​=(Z−R)×X∗B

OK! 咱们求导工作到此结束！是不是感觉很清楚呢？？????

---

注：严格来说，本次博客所有的$卷积操作$卷积操作，都应该叫做$相关操作$相关操作！
若之后有时间，我再写写二者的区别和联系