吴恩达深度学习笔记（四）week2深度卷积神经网络实例
吴恩达：通过学习经典网络对自己将来构建神经网络有启发性作用。
经典网络
LetNet-5：主要特点是通道数增加，卷积核的尺寸下降，处理的是灰度图片。
AlexNet:结构和LetNet-5相似，但是网络要大很多，处理的是彩色图片。
VGG-16:卷积核和通道数都以一定规律变化，连接也不是卷积-池化-卷积的结构。
残差网络（Residual Networks，ResNets）
网络很深时易出现梯度下降和梯度消失，残差网络能有效的避免这个问题，残差网络就是跨层连接，构成残差块（Residual blocks）此时某些层的输入会加入跨层连接的神经元的输出，如下图所示。
理论上随着网络层数的增加，误差就会减少，但是实际上并不是这样，残差网络通常能到达理论上的效果。
为什么残差网络能比普通的网络表现好？如下图所示，当给原网络添加了两层，并添加了残差块时，新的网络输出为：
注意到若使用了L2正则化，则会对 压缩，一个极端的情况，若 都为则新的输出便为即为(因为此时的**函数为ReLU)，若增加的两层学得了一些新的特征则新网络要比原网络表现得更好（非严格证明，启发式理解）
网络中的网络及卷积
的卷积核能减少通道数，如下图所示：