您的位置: 首页  >  文章  >  WRN[论文笔记]

WRN[论文笔记]

分类: 文章 • 2025-05-08 22:08:46

论文: Wide Residual Networks

论文地址

简介

随着模型深度的加深,梯度反向传播时,并不能保证能够流经每一个残差模块的权值,以至于它很难学到东西.训练十分深的残差网络仍会有特征重用消失的问题,训练速度会减慢.

wide residual networks (WRNs)减少深度,但是增加了残差块的宽度.作者希望使用一种较浅的,但是宽度更宽的模型,来更加有效的提升模型的性能.

说明残差网络的能力主要由残差block提供,网络深度只有补充性的作用

WRN

WRN[论文笔记]

如上图所示,a,b是Resnet提出的残差块.分别为Basic和Bottleneck block

而c,d是本文提出的更宽的残差块.c是加宽的Basic block.

另外前人把dropout插入到残差网络的Identity连接上面,会导致性能下降.而作者认为应该像d一样,把dropout插入的卷积层之间.

ResNet原文使用了三种Residual Block,output channel分别为16,32,64.网络的深度为6*N+2.

而本文作者通过增加output channel的数量来使模型变得更wider,他在output channel都增加了系数k

引入两个因子:

  • 深度因子l,表示一个block中包含的卷积层数量
  • 宽度因子k,卷积层输出特征图数量的倍数

下表显示了本文网络的具体配置,k控制残差block的宽度

WRN[论文笔记]

实验

用B(M)表示残差块的结构,M是块内使用的卷积层的卷积核的尺寸组成.B(3,1)表示由一个3x3卷积层和一个1x1卷积层组成的残差块.

  • B(3,3):basic块
  • B(3,1,3):在basic上增加一个1x1卷积层
  • B(1,3,1):所有的卷积的维度是一样，可以看作是straightened的bottleneck
  • B(1,3):1x1和3x3卷积交替
  • B(3,1):与上一种情况类似
  • B(3,1,1):NIN网络风格的块

由于参数量和准确率都差不多,因此选择B(3,3)

实验集:CIFAR-10、CIFAR-100、SVHN和ImageNet

实验结果

WRN40-4与ResNet1001结果相似,参数数量相似,但是前者训练快8倍

WRN 训练要比 ResNet 快很多,尽管 WRN 的参数要比 ResNet 要多

加入dropout能提高性能

下面仅展示部分训练结果

WRN[论文笔记]
WRN[论文笔记]

总结

  • 宽度的增加提高了性能
  • 增加深度和宽度都有好处，直到参数太大，regularization不够
  • 相同参数时，宽度比深度好训练

参考

https://blog.****.net/wspba/article/details/72229177

https://blog.****.net/wangkun1340378/article/details/78474757

https://www.jianshu.com/p/7150963d0e93

https://segmentfault.com/a/1190000011266693

https://www.dazhuanlan.com/2019/11/20/5dd53d2046b31/

翻译

https://blog.****.net/u014061630/article/details/80677071

相关推荐