Efficientnet: Rethinking model scaling for convolutional neural networks（论文笔记）

地址：下载

（第一次做笔记，有些细节后期慢慢补充）

EffificientNet是谷歌公司的推出的一个新的神经网络，本文主要是对于现有的一些先进的模型进行模型缩放的研究，并根据研究推出了EffificientNet，实验表明EffificientNet-B7在ImageNet上达到了最好的水平即top-1和top-5准确率分别为88.4%和97.1%。比已知最好的ConvNet模型（GPipe）小了8.4倍推理时间快了6.1倍。

作者认为现在的神经网络的研究中为了提高准确率经常增大convnet。一种常用的方法就是增大神经网络中的深度、宽度。还有就是增大分辨率。在之前的工作中，通常只是放大三个维度-深度，宽度，和图像尺寸中的一个维度。尽管可以任意地增大两个或三个维度，但任意的增大需要枯燥的手工调参并且还经常产生次好的准确率和效率。因此作者想是否有一个原则性的方法来增大ConvNets能够达到更好的准确率和效率。下图展示了，分别放大三个维度的网络结构图：

作者经过缩放维度和复合缩放试验（具体实验过程和内容比较简单可以看论文）研究得出了两个观点：

1. 放大网络宽度，深度或分辨率中任何一个维度都可以提高准确率，但是对于更大的模型准确率的收益减少。
2. 为了达到更好的准确率和效率，在ConvNet缩放时平衡网络所有宽度，深度和分辨率是起决定作用的。

为了避免冗长的手工调参，作者提出了一个新的复合缩放方法。用复合系数ϕ来一致的缩放网络的宽度，深度和分辨率。

公式如下：

作者先在mobileNet和ResNet中评估了自己的模型，再在EfficientNets中进行评估。实验证明效果还是很不错的，相比使用单个缩放方式，使用了复合缩放之后准确率都有提高。

而改进后的EfficientNet效果提升明显，作者使用了和MnasNet相似的设置在ImageNet中进行训练，EfficientNet模型通常比相似准确率的ConvNets的参数和运算量少一个量级。

总结:文中提出了一个简单且更高效的复合缩放方法，能够很容易地以一种更有原则的方式放大一个baseline ConvNet到任何目标资源限制下，而保持模型的效率。相比之前的研究有了很大的进步。尤其是在相似的准确率下相比其他的ConvNet模型参数和运算量都能小一个量级让人很惊喜。