深度学习之CNN反向传播

  大多数人了解推导的都是全连接层的反向传播公式，全连接层的每一层都可以看作是一个一维向量，其中的元素即代表权重，而CNN中的卷积操作以及池化操作的反向传播，你又了解多少呢？虽然二者思想一致，却又有着诸多不同之处，理解CNN的反向传播之前，先了解下互相关以及卷积的概念。

互相关

  给定一个输入图像I以及一个滤波器为k1Xk2的(即卷积核)K，则互相关定义为：
                        (I⨂K)ij=∑k1−1m=0∑k2−1n=0I(i+m,j+n)K(m,n)$(I⨂K{)}_{ij}=\sum _{m=0}^{k_1-1}\sum _{n=0}^{k_2-1}I(i+m,j+n)K(m,n)$            (1)

卷积

  给定一个输入图像I和一个滤波器为k1Xk2的(卷积核)K，则卷积操作为：
                        (I∗K)ij=∑k1−1m=0∑k2−1n=0I(i−m,j−n)K(m,n)$(I\ast K{)}_{ij}=\sum _{m=0}^{k_1-1}\sum _{n=0}^{k2-1}I(i-m,j-n)K(m,n)$            (2)
                                    =∑k1−1m=0∑k2−1n=0I(i+m,j+n)K(−m,−n)$=\sum _{m=0}^{k_1-1}\sum _{n=0}^{k2-1}I(i+m,j+n)K(-m,-n)$        (3)

反向传播

卷积层

  对于CNN反向传播来说，权值W和误差敏感项δ$\delta$需要更新。
  首先是权值的更新，即计算损失函数对权重的导数∂E∂wlm′n′$\frac{\mathrm{\partial }E}{\mathrm{\partial }{w}_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^l}$，这可以用来解释卷积核中的一个像素权重wm′n′$w_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}$的改变如何影响损失函数E。

  在前向传播期间，卷积操作确保了卷积核中的黄色像素wm′n′$w_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}$参与对卷积核与其覆盖的输入特征图之间的乘加运算，这就意味着wm′n′$w_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}$会最终影响到输出特征图中的所有元素。
  输入为HxW，卷积核为k1xk2，那么产生的卷积图大小为(H-k1+1)x(W-k2+1)，某一权重的梯度可由计算链式法则得到：
                        ∂E∂wlm′n′=∑H−k1i=0∑W−k2j=0∂E∂xli,j∂xli,j∂wlm′n′$\frac{\mathrm{\partial }E}{\mathrm{\partial }{w}_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^l}=\sum _{i=0}^{H-k_1}\sum _{j=0}^{W-k_2}\frac{\mathrm{\partial }E}{\mathrm{\partial }{x}_{i,j}^l}\frac{\mathrm{\partial }{x}_{i,j}^l}{\mathrm{\partial }{w}_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^l}$
                                 =∑H−k1i=0∑W−k2j=0δli,j∂xli,j∂wlm′n′$=\sum _{i=0}^{H-k_1}\sum _{j=0}^{W-k_2}{\delta }_{i,j}^l\frac{\mathrm{\partial }{x}_{i,j}^l}{\mathrm{\partial }{w}_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^l}$        (4)
  在(4)中，xli,j$x_{i,j}^l$即等价于∑m∑nwlm,nol−1i+m,j+n+bl$\sum _m\sum _n{w}_{m,n}^l{o}_{i+m,j+n}^{l-1}+b^l$，其中oli,j=f(xli,j)$o_{i,j}^l=f(x_{i,j}^l)$，f()表示**函数。所以有：
                        ∂xli,j∂wlm′n′=∂∂wlm′n′(∑m∑nwlm,nol−1i+m,j+n+bl)$\frac{\mathrm{\partial }{x}_{i,j}^l}{\mathrm{\partial }{w}_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^l}=\frac{\mathrm{\partial }}{\mathrm{\partial }{w}_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^l}(\sum _m\sum _n{w}_{m,n}^l{o}_{i+m,j+n}^{l-1}+b^l)$        (5)
  由求偏导数的性质有下列结论：
                        ∂xli,j∂wlm′n′=∂∂wlm′n′(wl0,0ol−1i+0,j+0+...+wlm′n′ol−1i+m′j+n′+...+bl)$\frac{\mathrm{\partial }{x}_{i,j}^l}{\mathrm{\partial }{w}_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^l}=\frac{\mathrm{\partial }}{\mathrm{\partial }{w}_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^l}(w_{0,0}^l{o}_{i+0,j+0}^{l-1}+...+w_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^l{o}_{i+m^{\mathrm{\prime }}j+n^{\mathrm{\prime }}}^{l-1}+...+b^l)$
                                =∂∂wlm′n′(wlm′n′ol−1i+m′j+n′)$=\frac{\mathrm{\partial }}{\mathrm{\partial }{w}_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^l}(w_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^l{o}_{i+m^{\mathrm{\prime }}j+n^{\mathrm{\prime }}}^{l-1})$
                                =ol−1i+m′j+n′$=o_{i+m^{\mathrm{\prime }}j+n^{\mathrm{\prime }}}^{l-1}$        (6)
  将(6)代入(4)有：
                       ∂E∂wlm′n′=∑H−k1i=0∑W−k2j=0δli,jol−1i+m′j+n′$\frac{\mathrm{\partial }E}{\mathrm{\partial }{w}_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^l}=\sum _{i=0}^{H-k_1}\sum _{j=0}^{W-k_2}{\delta }_{i,j}^l{o}_{i+m^{\mathrm{\prime }}j+n^{\mathrm{\prime }}}^{l-1}$        (7)
                                =rot180度{δli,j}∗ol−1m′n′$=ro{t}_{180度}\{{\delta }_{i,j}^l\}\ast o_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^{l-1}$        (8)
  上述(7)的求和公式是权值共享的结果，表示误差敏感项δli,j${\delta }_{i,j}^l$来源于所有下一层l的输出。
  通过将误差敏感项δli,j${\delta }_{i,j}^l$进行旋转180度操作即将一个相关操作变成了卷积操作。

  下图则表示为(δ11,δ12,δ21,δ22${\delta }_{11},{\delta }_{12},{\delta }_{21},{\delta }_{22}$)在反向传播中如何产生的。

  卷积操作用来更新权重，请注意下图中误差敏感项的180度旋转操作：

  既然得到了对权值求梯度的公式，而其中的位置项即误差敏感项δli,j${\delta }_{i,j}^l$，而误差敏感项来源于：
                       δli,j=∂E∂xli,j${\delta }_{i,j}^l=\frac{\mathrm{\partial }E}{\mathrm{\partial }{x}_{i,j}^l}$        (9)
  在这点计算误差敏感项∂E∂xli,j$\frac{\mathrm{\partial }E}{\mathrm{\partial }{x}_{i,j}^l}$，能更好理解在特征图中的一个像素xi′j′$x_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}$对损失函数E的影响。

  使用求导链式法则有：
                       ∂E∂xli′j′=∑i,j∈Q∂E∂xl+1Q∂xl+1Q∂xli′j′$\frac{\mathrm{\partial }E}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l}=\sum _{i,j\in Q}\frac{\mathrm{\partial }E}{\mathrm{\partial }{x}_Q^{l+1}}\frac{\mathrm{\partial }{x}_Q^{l+1}}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l}$
                              =∑i,j∈Qδl+1Q∂xl+1Q∂xli′j′$=\sum _{i,j\in Q}{\delta }_Q^{l+1}\frac{\mathrm{\partial }{x}_Q^{l+1}}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l}$        (10)
  Q表示上述虚线为边界的输出区域的累加，由输出的像素组成并受输入特征图中的一个像素xi′j′$x_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}$所影响。
                       ∂E∂xli′j′=∑k1−1m=0∑k2−1n=0∂E∂xl+1i′−m,j′−n∂xl+1i′−m,j′−n∂xli′j′$\frac{\mathrm{\partial }E}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l}=\sum _{m=0}^{k_1-1}\sum _{n=0}^{k_2-1}\frac{\mathrm{\partial }E}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}-m,j^{\mathrm{\prime }}-n}^{l+1}}\frac{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}-m,j^{\mathrm{\prime }}-n}^{l+1}}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l}$
                              =∑k1−1m=0∑k2−1n=0δl+1i′−m,j′−n∂xl+1i′−m,j′−n∂xli′j′$=\sum _{m=0}^{k_1-1}\sum _{n=0}^{k_2-1}{\delta }_{i^{\mathrm{\prime }}-m,j^{\mathrm{\prime }}-n}^{l+1}\frac{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}-m,j^{\mathrm{\prime }}-n}^{l+1}}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l}$        (11)
在(11)中，xl+1i′−m,j′−n=wl+1m′n′oli′−m+m′,j′−n+n′+bl+1$x_{i^{\mathrm{\prime }}-m,j^{\mathrm{\prime }}-n}^{l+1}=w_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^{l+1}{o}_{i^{\mathrm{\prime }}-m+m^{\mathrm{\prime }},j^{\mathrm{\prime }}-n+n^{\mathrm{\prime }}}^l+b^{l+1}$，故：
                       ∂xl+1i′−m,j′−n∂xli′j′=∂∂xli′j′(∑m′∑n′wl+1m′n′oli′−m+m′,j′−n+n′+bl+1)$\frac{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}-m,j^{\mathrm{\prime }}-n}^{l+1}}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l}=\frac{\mathrm{\partial }}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l}\left(\sum _{m^{\mathrm{\prime }}}\sum _{n^{\mathrm{\prime }}}{w}_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^{l+1}{o}_{i^{\mathrm{\prime }}-m+m^{\mathrm{\prime }},j^{\mathrm{\prime }}-n+n^{\mathrm{\prime }}}^l+b^{l+1}\right)$
                                   =∂∂xli′j′(∑m′∑n′wl+1m′n′f(xli′−m+m′,j′−n+n′)+bl+1)$=\frac{\mathrm{\partial }}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l}\left(\sum _{m^{\mathrm{\prime }}}\sum _{n^{\mathrm{\prime }}}{w}_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^{l+1}f\left(x_{i^{\mathrm{\prime }}-m+m^{\mathrm{\prime }},j^{\mathrm{\prime }}-n+n^{\mathrm{\prime }}}^l\right)+b^{l+1}\right)$        (12)
  继续根据偏导数的性质有：
                       ∂xl+1i′−m,j′−n∂xli′j′=∂∂xli′j′(wl+1m′n′f(xl0−m+m′,0−n+n′)+...+wl+1m,nf(xli′j′)+...+bl+1)$\frac{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}-m,j^{\mathrm{\prime }}-n}^{l+1}}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l}=\frac{\mathrm{\partial }}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l}\left(w_{m^{\mathrm{\prime }}{n}^{\mathrm{\prime }}}^{l+1}f\left(x_{0-m+m^{\mathrm{\prime }},0-n+n^{\mathrm{\prime }}}^l\right)+...+w_{m,n}^{l+1}f\left(x_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l\right)+...+b^{l+1}\right)$
                                   =∂∂xli′j′(wl+1m,nf(xli′j′))$=\frac{\mathrm{\partial }}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l}\left(w_{m,n}^{l+1}f\left(x_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l\right)\right)$
                                   =wl+1m,n∂∂xli′j′(f(xli′j′))$=w_{m,n}^{l+1}\frac{\mathrm{\partial }}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l}\left(f\left(x_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l\right)\right)$
                                   =wl+1m,nf′(xli′j′)$=w_{m,n}^{l+1}{f}^{\mathrm{\prime }}\left(x_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l\right)$        (13)
  将(13)代入(11)，有：
                       ∂E∂xli′j′=∑k1−1m=0∑k2−1n=0δl+1i′−m,j′−nwl+1m,nf′(xli′j′)$\frac{\mathrm{\partial }E}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l}=\sum _{m=0}^{k_1-1}\sum _{n=0}^{k_2-1}{\delta }_{i^{\mathrm{\prime }}-m,j^{\mathrm{\prime }}-n}^{l+1}{w}_{m,n}^{l+1}{f}^{\mathrm{\prime }}\left(x_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l\right)$        (14)
  对于上述(14)可以将这种相关关系表达为卷积形式即：
                       ∂∂xli′j′=∑n=0m=0δl+1i′−m,j′−nwl+1m,nf′(xli′j′)$\frac{\mathrm{\partial }}{\mathrm{\partial }{x}_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l}=\sum _{m=0}^{n=0}{\delta }_{i^{\mathrm{\prime }}-m,j^{\mathrm{\prime }}-n}^{l+1}{w}_{m,n}^{l+1}{f}^{\mathrm{\prime }}\left(x_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l\right)$
                              =rot180度(∑n=0m=0δl+1i′+m,j′+nwl+1m,nf′)f′(xli′j′)$=ro{t}_{180度}\left(\sum _{m=0}^{n=0}{\delta }_{i^{\mathrm{\prime }}+m,j^{\mathrm{\prime }}+n}^{l+1}{w}_{m,n}^{l+1}{f}^{\mathrm{\prime }}\right)f^{\mathrm{\prime }}\left(x_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^l\right)$        (15)
                              =δl+1i′j′∗rot180度(wl+1m,n)f′(xl,j′j′)$={\delta }_{i^{\mathrm{\prime }}{j}^{\mathrm{\prime }}}^{l+1}\ast ro{t}_{180度}\left(w_{m,n}^{l+1}\right)f^{\mathrm{\prime }}\left(x^l,j^{\mathrm{\prime }}{j}^{\mathrm{\prime }}\right)$        (16)
  而对于偏置b来说，因为误差敏感项δ$\delta$是三维张量，而偏置b指示一维向量，通常的作法是将误差敏感项δ$\delta$各个子矩阵的项分别求和，得到一个误差向量：
                       ∂E∂bl=∑u,v(δl)u,v$\frac{\mathrm{\partial }E}{\mathrm{\partial }{b}^l}=\sum _{u,v}{\left({\delta }^l\right)}_{u,v}$

池化层

  池化层的作用就是通过逐渐降低表达能力的维度来减少网络中的参数量以及计算量，从而也达到控制过拟合的作用。
  池化层常包括最大池化、平均池化以及L2范数池化。在池化层中，前向传播使得一个NxN的特征图减小降维，反向传播中进行上采样。
  最大池化：先利用padding对深层进行扩充，然后通过前向传播时记录最大池化中最大值的位置，然后利用这个最大位置，将深层的特征图中的值代入扩充的池化层中即可。
  平均池化：先利用padding对深层进行扩充，然后将深层中的特征图中的每个值对即将代入的扩充的池化层进行均值处理，然后代入。