经典神经网络架构
整体概述
前4个是目标分类的经典网络
Alexnet（现在用的少）
卷积核比较大
local response norm层后来被证明是无用的。
Vgg
卷积核都是3X3：细粒度特征提取。
特点：在maxpool后，把损失的特征弥补起来，用厚度翻倍弥补长和宽。
Vgg的时间会比Alexnet长很多，如Alexnet8小时，Vgg需要3天。
Resnet残差网络
对于问题：56层比20层的错误率要更高。
Resnet提出解决方案：在20层以后，当经过两次卷积，若结果不好就跳过第二层卷积，把之前的输入加回来。在残差网络中，每一层至少不会比前一层的学习效果差
在解决实际问题中，使用经典神经网络就可以了。
GoogLeNet：多分辨率融合
Inception module
原先是左边，后来增加1X1的卷积，数据就会被降维，不会这么臃肿。