Res2Net论文解读

转载来源:https://blog.****.net/zw__chen/article/details/89035192
论文：https://arxiv.org/abs/1904.01169

​ Abstract：在多个尺度上表示特征对于许多视觉任务非常重要。卷积神经网络（CNN） backbone 的最新进展不断展示出更强的多尺度表示能力，从而在广泛的应用中实现一致的性能提升。然而，大多数现有方法以分层方式（layer-wise）表示多尺度特征。在本文中，我们通过在一个单个残差块内构造分层的残差类连接，为CNN提出了一种新的构建模块，即Res2Net。Res2Net 以更细粒度（granular level）表示多尺度特征，并增加每个网络层的感受野（receptive fields）范围。所提出的Res2Net块可以融合到最先进的 backbone CNN模型中，例如ResNet，ResNeXt和DLA。我们在所有这些模型上评估 Res2Net 模块，并在广泛使用的数据集（例如CIFAR-100和ImageNet）上展示相对于基线模型的一致性能提升。关于代表性计算机视觉任务的进一步消融研究和实验结果，即目标检测，类** mapping 和显著目标检测，进一步验证了Res2Net相对于现有技术的基线方法的优越性。源码和训练模型将之后公开。

​ 论文Res2Net: A New Multi-scale Backbone Architecture：在Resnet的bottleneck基础上，提出了参数量更少的bottleneck，如下图：

​

​ 图a为Resnet提出的标准网络，图b为本文提出。如图b所示，把$3×33×3 3 \times 3$3×33×33×3y1​​的，作者说这有两层含义：①为了减少参数；②特征重利用。

​ 作者在ResNet-50, ResNeXt-50 和 DLA-60 作为baseline进行实验。实验的框架使用的是pytorch，为公平实验作者复现了这三个网络，此外把其原始的bottleneck用本文提出的代替进行新的实验，并取得了好的结果。