卷积神经网络——Wide ResNet
网络结构
原始的ResNet如果(a)和(b)所示，(b)是使用了bottleneck的residual block，而(c)和(d)便是WRN这篇paper的作者提出的架构。他认为一味的增加深度并不是最有效的方法，residual block的宽度对网络性能的提升更有帮助。所以他考虑增加每一层的宽度。
当网络层 depth 数较浅，或者宽度 k 较小时，网络还不需要加dropout，但是当层数增加，宽度增加，参数量指数增大时，加入dropout可以有效防止model的overfitting。
WRN40-4与ResNet1001结果相似，参数数量相似，但是前者训练快8倍。
总结：
1. 宽度的增加提高了性能
2. 增加深度和宽度都有好处，直到参数太大，regularization不够
3. 相同参数时，宽度比深度好训练