步长大于1时卷积神经网的反向传播

关于卷积神经网络的正向和反向传播网上已经有了大量的技术指导，但是绝大部分都止步于卷积核步长为1，且通道数为1的简单的示意性的推导，当步长为2时，大多数的教程都语焉不详，或直接跳过。我在这里就对步长为2以上的卷积操作进行详细讨论。本文假设读者已经基本掌握神经网络的链式求导法则，所以不会再讲这些细节。另外，本文只考虑卷积操作的正向和反向传播，如果想对池化层的相应过程做了解可以直接移步参考文献。

申明：本文所涉及的卷积不对卷积核做180°翻转操作。

---

1. 一些记号

我们以l$l$代表层数，Hl$H^l$，Wl$W^l$代表第l$l$层图像的长和宽，nl$n^l$代表第l$l$层的通道数。wl$w^l$代表第l$l$层的卷积核，它的形状为（k1，k2，nl)$（k_1，k_2，n^l)$，而bl$b^l$是偏置项，形状为（1，1，nl)$（1，1，n^l)$。步长用sl$s^l$表示，由于我们只看其中一层的传播的，所以下文忽略这个步长的上标l$l$，用s$s$表示。Zl$Z^l$是**前的线性组合，Al$A^l$代表**后的输出，有Al=g(Zl)$A^l=g(Z^l)$，而g(·)$g(·)$则是**函数。其中，Zl$Z^l$和Al$A^l$是相同形状的三维张量，形状为(Hl,Wl,nl)$(H^l,W^l,n^l)$。

另外总的代价函数为J$J$， ∂J∂w$\frac{\mathrm{\partial }J}{\mathrm{\partial }w}$代表代价函数对卷积核参数的梯度，我们简写用dw$dw$表示， 同样还有误差敏感项∂J∂Z$\frac{\mathrm{\partial }J}{\mathrm{\partial }Z}$，简写作dZ$dZ$。

另外，关于坐标的记号：
上文中所述的Al，Zl，wl$A^l，Z^l，w^l$都是三维矩阵（张量），前两个维度表示平面2D坐标（第一个维度指示行，第二个维度指示列），最后一个维度代表通道。在具体表示某一个元素时，我会用脚标的形式给出，例如Zli,j,k（i=0,1,…,Hl−1;j=0,1,…,Wl−1;k=0,1,…,nl−1）$Z_{i,j,k}^l（i=0,1,\dots ,H^l-1;j=0,1,\dots ,W^l-1;k=0,1,\dots ,n^l-1）$代表第k号通道下第i行第j列的元素（注意i，j，k都是从0开始计数的）。而有时候，我们会想表示某个通道的全部元素，例如wl·,·,k′$w_{·,·,k^{\prime }}^l$代表第l$l$层第k′$k^{\prime }$个卷积核的全部元素，这时它是一个二维的矩阵（相当于对原来的三维张量wl$w^l$做了切片操作）。

2. 前向传播

我们先看卷积核的滑动过程，假设我们有一张7×7的图片（这里只画出来了一个通道），卷积核大小为3×3，步长为2，那么卷积过后可以得到3×3的图片。

彩色画笔标出来的框框代表了卷积核滑动后产生结果。相信聪明的你一定看的明白。

现在我们讨论一下卷积前后坐标的变化情况：
我们看卷积后的小图片（等号右边3×3的图片），它的左上角(0,0)$(0,0)$对应了7×7的大图片上(0,0)$(0,0)$到(2,2)$(2,2)$的所有方格（蓝色线所覆盖的方格）。而小图片上红色点(0,1)$(0,1)$对应了大图片(0,2)$(0,2)$到(2,4)$(2,4)$的方格，绿色粗点(0,2)$(0,2)$则对应了(0,4)$(0,4)$到(2,6)$(2,6)$的方格。所以，卷积后的坐标(i,j)$(i,j)$对应了卷积前(i∗s,j∗s)$(i\ast s,j\ast s)$到(i∗s+k1−1,j∗s+k2−1)$(i\ast s+k_1-1,j\ast s+k_2-1)$的坐标。

综上，我们抽象出前向传播的过程，如下所示：

式中：

其中，卷积前后图片长度H$H$和宽度W$W$的变化情况如下：

公式解释：⌊·⌋$\lfloor ·\rfloor$是向下取整操作，Al−1$A^{l-1}$代表了卷积前的大图片， Zl$Z^l$就是卷积后的小图片，它们之间的坐标存在一个s$s$的倍数关系。其中最左边的累加号代表对卷积核wl·,·,k$w_{·,·,k}^l$对Al$A^l$的所有通道做了2D的卷积操作，第二个和第三个累加就是具体某一层的二维卷积操作，稍加推导你就能明白。

3. 反向传播

3.1 dw$dw$的求法

我们知道wl$w^l$是一个三维的张量，Zl$Z^l$也是三维的张量，而且两者的第三个维度，也就是通道维是相等。形象的说，第一个卷积核wl·,·,0$w_{·,·,0}^l$对Al−1$A^{l-1}$做卷积可以得到Zl$Z^l$的第一个通道，即Zl·,·,0$Z_{·,·,0}^l$，那么第二个卷积核wl·,·,1$w_{·,·,1}^l$对Al−1$A^{l-1}$做卷积可以得到Zl$Z^l$的第二个通道，即Zl·,·,1$Z_{·,·,1}^l$。所以wl·,·,k′$w_{·,·,k^{\prime }}^l$仅仅通过Zl·,·,k′$Z_{·,·,k^{\prime }}^l$对代价函数J$J$的误差做出贡献，那么误差反向传播回来的时候，也就是当我们求dwm′,n′,k′$d{w}_{m^{\prime },n^{\prime },k^{\prime }}$时，不需要对通道维做累加，只需要对平面的两个维度做累加即可。

用公式来描述就是：

那么平面上两个的坐标i,j$i,j$满足什么样的条件呢？

假设在下面这幅图中，我们要求dw1,1,k′$d{w}_{1,1,k^{\prime }}$（k′=0,1…，nl−1$k^{\prime }=0,1\dots ，n^l-1$），卷积核(1,1)$(1,1)$上的参数（红点）在大图片（Al−1$A^{l-1}$）上滑过的位置由红点标出，而做卷积的结果则显示在了小图片的红点上。

所以，卷积结果的二维坐标i,j$i,j$会布满整个输出的图像，公式如下：

3.2 dZ$dZ$的求法

上一个求dw$dw$的式子中，我们假设dZ$dZ$是已知的。现在我们来求dZ$dZ$。由于我们这里只画出了一层卷积层，即第l$l$层，所以我们就根据dZl$d{Z}^l$求dZl−1$d{Z}^{l-1}$。

注意在这里，求dZl−1$d{Z}^{l-1}$时，我们需要对通道数做累加，因为卷积核wl·,·,k′$w_{·,·,k^{\prime }}^l$(k′=0,1…nl−1$k^{\prime }=0,1\dots n^l-1$)是对Zl−1$Z^{l-1}$的所有通道做卷积操作（其实是直接对Al−1$A^{l-1}$做卷积，但是Al−1$A^{l-1}$和Zl−1$Z^{l-1}$的元素是一一对应的，所以在计算图上两者地位是一致的），从而得到Zl·,·,k′$Z_{·,·,k^{\prime }}^l$对误差做贡献的。

形象的画图表示就是这样：

所以对于特定的一层Zl−1·,·,k′$Z_{·,·,k^{\prime }}^{l-1}$，它的梯度是需要对通道做累加的。
公式如下：

同样的，下面讨论平面上两个的坐标i,j$i,j$满足什么样的条件。看图说话：

假设我们要求的是紫色标出来的方格（2,2）$（2,2）$处的dZl−12,2,k′$d{Z}_{2,2,k^{\prime }}^{l-1}$，那么卷积核上滑过该点的位置分别是红色点（2,2）$（2,2）$，绿色点（2,0）$（2,0）$ ，蓝色点（0,2）$（0,2）$和棕色点（0,0）$（0,0）$，产生在Zl$Z^l$上的结果也由个颜色对应的点位所示。抽象成数学式子就是：

式中：

建议各位旁友拿起纸和笔推导一下，尤其上面两个关于i,j$i,j$的限制条件。

3.3 db$db$的求法

db$db$最为简单，我们直接给出结果：

参考文献

http://www.jefkine.com/general/2016/09/05/backpropagation-in-convolutional-neural-networks/