Paper Reading：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications（arXiv:1704.04861v1）

Motivation

提出来用在手机或者边缘视觉应用上的轻量化模型，可以有效的做精度和延迟之间的trade off。

Architecture

• Depthwise Separable Convolution

  使用DC和PC代替标准卷积

input ：$D_F ×D_F × M$DF​×DF​×M

output：$D_F × D_F × N$DF​×DF​×N

kernel K of size：$D_K × D_K × M × N$DK​×DK​×M×N

• standard convolution cost

  $D_K · D_K · M · N · D_F · D_F$DK​⋅DK​⋅M⋅N⋅DF​⋅DF​

• Depthwise convolution cost

  $DK · DK · M · DF · DF$DK⋅DK⋅M⋅DF⋅DF

• Depthwise Separable Convolution = Depthwise convolution + Pointwise convolution

  $DK · DK · M · DF · DF +M · N · DF · DF$DK⋅DK⋅M⋅DF⋅DF+M⋅N⋅DF⋅DF

最终计算量减少的比例

• Network Structure and Training

  Depthwise Separable Convolution模块的构建方法：
  
  各个子模块计算量的百分比：
  

• Width Multiplier: Thinner Models Although

  width multiplier α, the number of input channels M becomes αM and the number of output channels N becomes αN，使用随机采样输入的通道实现？$\alpha$α是属于[0-1]的。

  计算量减为：

  $DK · DK · αM · DF · DF + αM · αN · DF · DF$DK⋅DK⋅αM⋅DF⋅DF+αM⋅αN⋅DF⋅DF

• Resolution Multiplier: Reduced Representation

  将网络输入的分辨率使用缩放因子$p$p改小，resize？

  计算量减为：

  $DK ·DK · αM· ρDF · ρDF +αM· αN · ρDF · ρDF $
  

Experiments

• classification

• detection