深入理解ResNet 到 IResNet

论文链接： https:// arxiv.org/abs/2004.0498 9

代码链接： https:// github.com/iduta/iresne t

(10 Apr 2020)

摘要

残差网络(ResNets)是一种功能强大的卷积神经网络(convolutional neural network, CNN)架构，广泛应用于各种任务中。何恺明在2015年的深度残差网络（Deep Residual Network, 简写为 ResNet）可以说是过去几年中计算机视觉和深度学习领域最具开创性的工作。ResNet 使训练数百甚至数千层成为可能，且在这种情况下仍能展现出优越的性能。

在这项工作中，本文提出了一个ResNets的改进版本IResNets。改进了ResNet的三个主要组件:通过网络层的信息流、ResBlock和projection shortcut。IResNet能够在准确性和学习收敛性方面上都超过ResNet。例如，在ImageNet数据集上，使用具有50层的ResNet，对于top-1精度，本文方法可以比ResNet提高1.19％，而另一种配置则提高约2％。重要的是，无需增加模型复杂性即可获得这些改进。我们提出的方法允许我们训练极深的网络，而ResNet却有着严重的优化问题。我们报告了6个数据集上3个任务的结果:图像分类(ImageNet、CIFAR-10和CIFAR-100)、目标检测(COCO)和视频动作识别(Kinetics-400和Something-Something-v2)。IResNet成功地在ImageNet数据集上训练了一个404层的深度CNN，在CIFAR-10和CIFAR-100上训练了一个3002层的网络，而ResNet却不能在如此极端的深度上收敛。

IResNet为CNN的深度建立了一个新的里程碑！

回顾ResNet

以下内容来自我前期对Resnet学习和总结的摘抄，想了解更多有关ResNet的点击下方链接:

自 AlexNet 以来，最先进的CNN 架构已经越来越深。AlexNet 只有 5 个卷积层，而之后的 VGG 网络 和 GoogleNet（代号 Inception_v1） 分别有 19 层和 22 层。但是,网络的深度不断加深,性能会越来越好吗?很显然并不是的,人们发现当模型层数增加到某种程度，模型的效果将会不升反降。也就是说，深度模型发生了退化（degradation）情况。关于退化的原因我比较中意梯度相关性说。

ResNets是由大量构建块(Residual Block，ResBlock)叠加而成的。ResNets的核心思想是，使其构建块具有恒等映射（identity mapping）的能力。所谓恒等映射，简单地来讲就是可以使得这个构建块的输入等于输出。Residual Block这种恒等映射的能力是通过使用shortcut/跳跃连接(skip connection)来实现的，即将块的输入添加到它的学习输出中。

实践证明，ResNet在很大程度上缓解了网络的退化问题，但并没有得到完全解决，IResNet的作者也通过实验彻底验证了。如下图所示，将ImageNet数据集上的深度从152层增加到200层会导致更糟糕的结果，这表明ResNet仍然会影响信息在网络中的传播。

IResNet来了

IResNets改进了ResNet的三个主要组件:通过网络层的信息流、ResBlock和projection shortcut。IResNet能够在准确性和学习收敛性方面上都超过ResNet。

1)通过网络层的信息流

残差网络 (ResNet) 是由许多残差块(ResBlocks)叠加而成的。图1(a)给出了一个残差块的例子。从公式上每个残差块可以定义为:

其中， 和 分别是 第 个残差块的输入和输出向量， 代表**函数。 是一个可学习的残差映射函数(即残差学习要学习的东西，当学习到0时，那么 = ，从而实现恒等映射)，它可以有许多层组成(下标 来表示指定层)。例如，一个bottleneck ResBlock[1]有三层，那么 ;

当输入和输出的feature map的维度一样时，就用Identity shortcut，就是普通的连接，如公式中的第一条。当输入和输出的feature map的维度不一样时，有两种策略：
（1）采用zero-padding增加维度(PS:我暂时没有见过)
（2）采用新的映射（projection shortcut）(即 )，将的维度转化成 的维度，只有这样才能进行+操作，如公式中的第二条。例如当输入输出的通道数不一致,尺寸一致时，一般需要在shortcut上添加 卷积进行转换通道数。

但从图1(a)和公式可以看出，在主传播路径上存在ReLU**函数。通过负信号则将归零，这个ReLU可能会对信息的传播产生潜在的负面影响，尤其在训练开始时，会存在很多负权值(虽然一段时间后，网络会开始调整权值，以输出不受影响的正信号来通过ReLU)。关于上述问题在[2]中有研究(见图1(b))，他们提出了一个种新的ResBlock，称为pre-activation，即将最后的BN和ReLU移动到最前面。主传播路径上没有如ReLU非线性**函数，导致了许多Block之间缺少非线性，又限制了学习能力。其实，就是从一个极端走向了另一个极端，原始的ResNet在主路径上用很多门(例如ReLU)来阻碍信息的传播，而pre-act则让信号直接通过没有加以控制的主路径。此外，原始ResNet和pre-act的主路径上没有BN进行标准化，因此，使得全信号(即+完后的信号,full signal)的一部分没有进行标准化，进而加大了学习的难度。

为了解决这些问题，作者提出了一种分段的组织结构。以ResNet-50为例：首先把ResNet-50网络结构分为三个阶段，分别是1个starting stage、4个main stages、1个ending stage。4个main stages中的每个main stage都包含若干Blocks: main stage1有3个ResBlock， main stage2有4个，main stage3有6个，main stage4有3个。每个main stage中的ResBlock共有三种，如图1中(c)所示，一个main stage内部组成方式依次为:一个Start ResBlock、若干个Middle ResBlock(可任意数量，如在ResNet-50中main stage1有一个,main stage3有四个)、一个End ResBlock。如下图为改进后的ResNet-50网络结构图。每一个ResBlock有三层卷积(两个 ，一个 )，共有16个ResBlock，则层数共有 。每个Main Stage中的ResBlock有不同的设计。我们把这种分段组织结构的ResNet叫ResStage network。