论文阅读学习 - ResNet - Identity Mappings in Deep Residual Networks

[Paper]

[Code-Torch - Deep Residual Networks with 1K Layers]

摘要:

对深度残差网络理论分析.

残差构建模块中，采用恒等映射(identity mapping)作为 skip connetions 和 after-addition activation时， forward 和 backward 可以从一个 block，直接传递到任何其他 blocks.

阐述恒等映射的重要性.

1. 残差单元和跳跃链接 Skip Connections

深度惨差网络ResNets 是由许多堆积的残差单元 Residual Units 组成.

如 Fig (a). 每个残差单元可以表示为：

yl=h(xl)+F(xl,Wl)${\mathbf{y}}_l=h({\mathbf{x}}_{\mathbf{l}})+\mathcal{F}({\mathbf{x}}_l,{\mathcal{W}}_l)$ (1)

xl+1=f(yl)${\mathbf{x}}_{l+1}=f({\mathbf{y}}_l)$ (2)

其中，xl${\mathbf{x}}_l$ 和 xl+1${\mathbf{x}}_{l+1}$ 为第 l$l$ 个残差单元的输入和输出，F$\mathcal{F}$ 为残差函数(如，堆积的两个 3×3$3\times 3$ 的卷积层).

h(xl)=xl$h({\mathbf{x}}_l)={\mathbf{x}}_l$ 为恒等映射.

f$f$ 为 ReLU 函数，element-wise相加后的操作.

Wl={Wl,k|1≤k≤K}${\mathcal{W}}_l=\{W_{l,k}|1\le k\le K\}$ 为第 l$l$ 个残差单元的权重集. K$K$ 是残差单元的层数(K=2或K=3$K=2或K=3$).

ResNets 的关键是，拟合关于 h(xl)$h({\mathbf{x}}_l)$ 的残差函数 F$\mathcal{F}$ (F=y−h(x)$\mathcal{F}=\mathbf{y}-h(\mathbf{x})$)时，最佳选择是 h(x)=x$h(\mathbf{x})=\mathbf{x}$. 即：通过单位跳跃链接(identity skip connection，shortcut)来实现.

本文所分析的是，创建信息传递的直接路径的深度残差网络，不仅仅是一个残差单元，还包括整个网络.

得出的结论是，如果 h(x)$h(\mathbf{x})$ 和 f(yl)$f({\mathbf{y}}_l)$ 都是恒等映射(identity mappings)，信号在前向和后向传递时都可以从一个神经元和其它任何神经元直接传递.

对于跳跃链接的作用的理解，这里对多种类型的 h(xl)$h({\mathbf{x}}_l)$ 分析对比发现，Deep Residual Learning for Image Recognition 中的恒等映射 h(xl)=xl$h({\mathbf{x}}_l)={\mathbf{x}}_l$ 能够取得最快的误差减少速度和最低的训练 loss. 保持”干净”的信息传递，有助于网络优化.

构建恒等映射 f(yl)=yl$f({\mathbf{y}}_l)={\mathbf{y}}_l$ 时，记权重层的**函数(如，ReLU 和 BN) 为 pre-activation，记权重层的卷积层为 post-activation.如 Fig (b). 图中，灰色箭头表示信息传递的最简单路径. 基于此，构建了更容易训练和泛化的 ResNet-1001.

在公式 (2) 中，如果 f$f$ 也是恒等映射：xl+1≡yl${\mathbf{x}}_{l+1}\equiv {\mathbf{y}}_l$，则可以得到：

xl+1=xl+F(xl,Wl)${\mathbf{x}}_{l+1}={\mathbf{x}}_l+\mathcal{F}({\mathbf{x}}_l,{\mathcal{W}}_l)$ (3)

类似地，依次有：

xl+2=xl+1+F(xl+1,Wl+1)${\mathbf{x}}_{l+2}={\mathbf{x}}_{l+1}+\mathcal{F}({\mathbf{x}}_{l+1},{\mathcal{W}}_{l+1})$

xl+2=xl+F(xl,Wl)+F(xl+1,Wl+1)${\mathbf{x}}_{l+2}={\mathbf{x}}_l+\mathcal{F}({\mathbf{x}}_l,{\mathcal{W}}_l)+\mathcal{F}({\mathbf{x}}_{l+1},{\mathcal{W}}_{l+1})$

……

xL=xl+∑L−1i=lF(xi,Wi)${\mathbf{x}}_L={\mathbf{x}}_l+\sum _{i=l}^{L-1}\mathcal{F}({\mathbf{x}}_i,{\mathcal{W}}_i)$ (4)

公式 (4) 表现的特点：

• 任何深层(deeper)神经元 L$L$ 的特征 xL${\mathbf{x}}_L$ 都可以表示为任何浅层(shallower)神经元 l$l$ 的特征 xl${\mathbf{x}}_l$ 与残差函数 ∑L−1i=1F$\sum _{i=1}^{L-1}\mathcal{F}$ 相加之和. 即：模型是任何神经元 L$L$ 和 l$l$ 间的残差形式.
• 任何深层神经元 L$L$ 特征 xL=x0+∑L−1i=0F(xi,Wi${\mathbf{x}}_L={\mathbf{x}}_0+\sum _{i=0}^{L-1}\mathcal{F}({\mathbf{x}}_i,{\mathcal{W}}_i$，是所有残差函数的输出与 x0${\mathbf{x}}_0$ 的相加和. 对比于 “plain network”，特征 xL${\mathbf{x}}_L$ 是一序列矩阵向量的乘积，即：xL=∏L−1i=0Wix0${\mathbf{x}}_L=\prod _{i=0}^{L-1}{W}_i{\mathbf{x}}_0$ (忽略 BN 和 ReLU 层.)

公式 (4) 的反向传播，记 loss 函数为 ε$\epsilon$，则：

∂ε∂xl=∂ε∂xL∂xL∂xl=∂ε∂xL(1+∂∂xl∑L−1i=lF(xi,Wi))$\frac{\mathrm{\partial }\epsilon }{\mathrm{\partial }{\mathbf{x}}_l}=\frac{\mathrm{\partial }\epsilon }{\mathrm{\partial }{\mathbf{x}}_L}\frac{\mathrm{\partial }{\mathbf{x}}_L}{\mathrm{\partial }{\mathbf{x}}_l}=\frac{\mathrm{\partial }\epsilon }{\mathrm{\partial }{\mathbf{x}}_L}(1+\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathbf{x}}_l}\sum _{i=l}^{L-1}\mathcal{F}({\mathbf{x}}_i,{\mathcal{W}}_i))$ (5)

梯度计算可以分为两部分：

• ∂ε∂xL$\frac{\mathrm{\partial }\epsilon }{\mathrm{\partial }{\mathbf{x}}_L}$ 项不需要关心任何权重层，直接传递信息. 直接把深层的梯度传递到任意浅层.
• ∂ε∂xL(∂∂xl∑L−1i=lF)​$\frac{\mathrm{\partial }\epsilon }{\mathrm{\partial }{\mathbf{x}}_L}(\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathbf{x}}_l}\sum _{i=l}^{L-1}\mathcal{F})$ 项在权重层传递信息. ∂ε∂xL​$\frac{\mathrm{\partial }\epsilon }{\mathrm{\partial }{\mathbf{x}}_L}$确保信息能够直接传递回任何浅层单元 l​$l$.

公式 (5) 还表明，mini-batch 的梯度 ∂ε∂xl$\frac{\mathrm{\partial }\epsilon }{\mathrm{\partial }{\mathbf{x}}_l}$ 不可能消失为 0，因为 ∂∂xl∑L−1i=lF$\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathbf{x}}_l}\sum _{i=l}^{L-1}\mathcal{F}$ 项对所有样本，很难一直为 -1. 也就是说，即使权重任意小，网络也不会出现梯度消失.

公式 (4) 包含两个恒等映射：

• 恒等跳跃链接 h(xl)=xl$h({\mathbf{x}}_l)={\mathbf{x}}_l$；
• 恒等映射 f$f$.

2. 恒等跳跃链接的重要性

这里简单修改，记 h(xl)=λlxl$h({\mathbf{x}}_l)={\lambda }_l{\mathbf{x}}_l$，则恒等 shortcut为：

xl+1=λlxl+F(xl,Wl)${\mathbf{x}}_{l+1}={\lambda }_l{\mathbf{x}}_l+\mathcal{F}({\mathbf{x}}_l,{\mathcal{W}}_l)$ (6)

其中，λl${\lambda }_l$ 为标量因子.

类似于公式 (4)，有：

xL=(∏L−1i=1λi)xl+∑L−1i=l(∏L−1j=i+1λj)F(xi,Wi)${\mathbf{x}}_L=(\prod _{i=1}^{L-1}{\lambda }_i){\mathbf{x}}_l+\sum _{i=l}^{L-1}(\prod _{j=i+1}^{L-1}{\lambda }_j)\mathcal{F}({\mathbf{x}}_i,{\mathcal{W}}_i)$

xL=(∏L−1i=1λi)xl+∑L−1i=lF^(xi,Wi)${\mathbf{x}}_L=(\prod _{i=1}^{L-1}{\lambda }_i){\mathbf{x}}_l+\sum _{i=l}^{L-1}\hat{\mathcal{F}}({\mathbf{x}}_i,{\mathcal{W}}_i)$ (7)

其中，F^$\hat{\mathcal{F}}$ 为带标量缩放因子的残差函数.

类似于公式 (5)，其梯度计算：

∂ε∂xl=∂ε∂xL((∏L−1i=1λi)+∂∂xl∑L−1i=lF^(xi,Wi))$\frac{\mathrm{\partial }\epsilon }{\mathrm{\partial }{\mathbf{x}}_l}=\frac{\mathrm{\partial }\epsilon }{\mathrm{\partial }{\mathbf{x}}_L}((\prod _{i=1}^{L-1}{\lambda }_i)+\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathbf{x}}_l}\sum _{i=l}^{L-1}\hat{\mathcal{F}}({\mathbf{x}}_i,{\mathcal{W}}_i))$ (8)

可以看出，如果 λ>1$\lambda >1$，容易出现指数爆炸；如果 λ<1$\lambda <1$ 则容易出现弥散或消失，原本的shortcut就会被堵塞，经过更多权重层的反向传播，难以优化.

3. Experiments

３.1 Skip Connections

3.2 Activation Functions

Related

[1] - 论文阅读学习 - ResNet - Deep Residual Learning for Image Recognition