卷积神经网络基础

二维互相关运算： 输入 * 核 = 输出，其中卷积核是一个过滤器，通常尺寸小于数组。由于卷积层核数组可学习，该运算和卷积运算五本质区别。

感受野： 影响元素x前向计算的所有可能输入区域（可能大于输入尺寸）叫做x的感受野。

填充：输入高和宽两侧填充元素（通常未0）
步幅：互相关运算中，卷积核在数组上每次滑动的行数和列数

全连接层把图像展平成一个向量，输入图像上相邻的元素因为展平可能不再相邻。卷积层可提取局部信息且参数更少，可用较少的参数处理更大的图像。

池化：对输入数据计算固定的池化窗口元素的最大值或者平均值。作用未缓解卷积层对位置的过度敏感性。

leNet

leNet 模型分为卷积层模块和全连接层模块。卷积层模块基本单位是一个卷积层接池化层，卷积层用于识别图像中空间模式，池化层用于降低卷积层对位置的敏感性；全连接层模块含3个全连接层。输出个数为120、84、10.

卷积神经网络进阶

深度卷积神经网络（AlexNet）

5层卷积，2层全连接隐藏层，1个全连接输出层；Relu**函数；Dropout控制全连接层模型复杂度。但是没有模块化，不能用小的block构成，结构比较固定化。

使用重复元素的网络（VGG）

重复使用block，填充1，窗口形状33的卷积层，接步幅为2，窗口形状22的最大池化层。卷积层保持宽和高不变，池化层对其减半

网络中的网络（NiN）

串联多个由卷积层和全连接层构成的小网络组成申城网络

GoogleNet

由Inception基础模块组成，一个Inception块是一个有4条线路的子网络，通过不同窗口形状的卷积层和最大池化层并行抽取信息，且使用1*1卷积层减少通道数从而降低模型复杂度。