ResNeXt的阅读笔记

1.文章动机

Inception系列的网络已经证明了使用多支网络的优势,但是其每一个支路的拓扑结构不同,并且每个支路的卷积核的数目,大小等等的超参数都是根据数据集而定的,很容易出现超参数过调使得网络泛化性能不好的问题。ResNeXt同时结合了Inception的多支的思路和VGG提倡的统一形状的bottleneck简单堆叠的思想。这两者的同时使用即使用了mutli-branch来提高精度又减少了超参数提高模型泛化性。而采用这种完全一致的拓扑结构使得模型更容易aggregated。

2.原理图及其方法

ResNeXt的阅读笔记
直观的来讲就是多设计一个支路,称为多支结构,在这篇文章中,作者称为cardinal(原文解释为he size of the set of transformations)。如图所示的就是ResNeXt-50(32*4d),32指的就是网络的支数,而4指的是平面卷积中的层数。

2.1模型模板

在该网络的设计中,遵循了VGG/ResNet里面的两大设计原则:
(1)如果空间维度不变,所有的Block共享一个超参数(网络的宽度,卷积核的数量)
(2)平面维度变为原来的1/2时,网络的宽度变为原理啊的二倍。
使得ResNeXt的阅读笔记

2.2模型的等价模式

ResNeXt的阅读笔记
图中的三种模式都是等价的,其实很容易理解,从(a)到(b),因为之前的bottleneck里面的最后一个卷积它只作用四层,然后把不同支路作用的结果加起来。这和b中把所有的concat起来再加起来是完全一致的,因为cat起来再用11卷积,11卷积其实本身就是个加权相加的过程。从(b)到©很容易知道是一致的。
特殊形式,对于block只有两层的等效形式是:
ResNeXt的阅读笔记

2.3 模型容量

模型参数量计算量与模型的性能有很大的关联,为了确定是模型本身的优越性,所以一般会保持参数量不变来与其他模型相比。
图1左图中的计算量:
ResNeXt的阅读笔记再具有cardinal的网络中,要具有相似计算量的计算方法:
ResNeXt的阅读笔记
计算结果图:ResNeXt的阅读笔记

3.消融实验

(只讲消融的做法,其他比性能的各种文章都一样)
ResNeXt的阅读笔记