mobilenet v1

1. 将标准卷积改为3x3的深度分离卷积（depthwise） 和 1x1点卷积（pointwise）

mobilenet v2

1. 根据流形学习得出结论：ReLU导致的较多的信息损耗。但是不能直接用线性**代替RELU，所以：在输出通道较少的时候用线性**函数，其他时候ReLU6
   relu6: y= min(max(0,x), 6), 通过实验发现用6最好。图像：
   

2. 根据流形学习得出结论：如果增加通道数量能够减少信息损失就使用更多通道。所以：使用ReLU6的时候，增加通道数为输入通道数的t倍

https://blog.****.net/northeastsqure/article/details/88130792

mobilenet v3

1. 用MnasNet搜索网络结构；网格搜索中利用两个策略：资源受限的NAS和NetAdapt；
2. 用V1的深度可分离；
3. 用V2的倒残差线性瓶颈结构；
4. 引入SE模块；
5. 新的**函数h-swish(x)；
   h-swish(x) = x * [RELU6( x + 3)] / 6
6. 修改V2最后部分减小计算。

各种**函数：https://blog.****.net/jsk_learner/article/details/102822001

https://zhuanlan.zhihu.com/p/95778474?from_voters_page=true