MixNet: Mixed Depthwise Convolutional Kernels 读论文笔记
MixNet
title:
MixNet: Mixed Depthwise Convolutional Kernels
institution: Google
readed date: 2019-10-22 09:42
tags: 轻量化卷积神经网络
动机:
为了探索到底多大的kernel size 能够实现高的准确率?
combining the benefits of multiple kernel sizes can lead to better accuracy and efficiency.
认为较大的knel size（5×5,7×7）或提高模型的精确度和效率。
the fundamental question: do larger kernels always achieve higher accuracy?
大尺寸核倾向于捕捉细节的高分辨率模态，但消耗更多的参数和算力。
从上图可知不是说kernel size越大 精确度就会越高。
This study suggests the limitations of single kernel size: we need both large kernels to capture high-resolution patterns and small kernels to capture low-resolution patterns for better model accuracy and efficiency.
MDConv：单次卷积操作混合了不同大小的卷积核，容易捕捉多种分辨率的不同模态。
见下图：
3. MDConv
3.1 MDConv Feature Map
主要思想是在一个deptthwise卷积运算中混合不同大小的多个核， 这样就可以很容易地从输入图像中捕获不同类型的模式。如上图所示。
所以来看，MDConv是灵活的卷积操作。
- Group Size g:
作者将输入X分为4组，记g=4 for MobileNets（他们认为是最好的），group=1 to 5 for neural architecture - Kernel Size Per Group:
例如：g=4， {3×3,5×5,7×7,9×9}
Channel Size Per Group:
这里提出了两种方法：
第一种：等分，就是每组分同等数量的filters。
第二种：指数分割，第i组将会拥有2^(-i) 的filters。
比如，4-group MDConv with total filter size 32, the equal partition will divide the channels into (8,8, 8, 8), while the exponential partition will divide the channels into (16, 8, 4, 4)
Dilated Convolution:
加入空洞卷积在减少参数量的情况下，增大了感受野。