第九讲-CNN架构--课时20

LeNet-5

-------------------------------------------------------------------------------------------------------------------------

记得pooling没有参数！

AlexNet

由于当时GPU内存限制，网络被放在了两个GPU上

-------------------------------------------------------------------------------------------------------------------------

2014 VGG Net（16/19层）

更深，更小的卷积核（3*3）

三层3*3的conv和一层7*7的conv的effective receptive filed(对于原始输入的感受野)一样大，都是7*7，三层比一层可以由**函数增加更多非线性。

而且三层3*3的参数比一层7*7的少               3*（3*3*c*c）  <        7*7*c*c

c是channel数，此处卷积时不变（保留channel数）

memory很大，最多只能几十张图片

参数有一亿多个

ImageNet大赛中，作者采用集成学习，集成了几个网络

------------------------------------------------------------------------------------------------------------------------------

GoogleLeNet（Inception v1）

更深，22层               且没有全连接层，只有500万个参数，计算量小

Inception module

另外两个中间的的输出，是为了反向传播梯度回去，增加信号强度。

----------------------------------------------------------------------------------------------------------------------------------

ResNet  152层

可以由下图看到，对于一般的网络，太深反而效果更差，并且不是因为过拟合的原因。

更深的网络之所以效果差，是因为难以优化。深的网络至少可以和浅的网络一样，即copy前面，后面学习为Identity function。

解决方案：学习残差

###Google LeNet和Res Net都没有全连接层了，用global average pooling 代替。    来源于论文Network in Network

深层ResNet也采用bottle neck层，即1*1conv降维

当年ResNet的表现已近超越了人类水平

-----------------------------------------------------------------------------------------------------------------------------

上图右边，圆圈大小代表memory

--------------------------------------------------------------------------------------------------------------------------------