Paper1：Network in Network（NIN）
Network in Network（NIN）
目录
1.综述
（1）1×1卷积的使用
文中提出使用mlpconv网络层替代传统的convolution层。mlp层实际上是卷积加传统的mlp（多层感知器），因为convolution是线性的，而mlp是非线性的，后者能够得到更高的抽象，泛化能力更强。在跨通道（cross channel,cross feature map）情况下，mlpconv等价于卷积层+1×1卷积层，所以此时mlpconv层也叫cccp层（cascaded cross channel parametric pooling)。
（2）CNN网络中不使用FC层（全连接层）
文中提出使用Global Average Pooling取代最后的全连接层，因为全连接层参数多且易过拟合。做法即移除全连接层，在最后一层（文中使用mlpconv）层，后面加一层Average Pooling层。
- 对每个特征图，一整张图片进行全局均值池化，每张特征图都得到一个输出。
- 采用均值池化，省去参数，大大减小网络，避免过拟合
- 每张特征图相当于一个输出特征，表示输出类的特征。
- 1000个类别时，最后一层的特征图个数要选择1000
- AlexNet.最后卷积层输出的特征图大小是6*6，则pooling的大小选择6
（3）全局平均他化的优势
- 通过加强持征面与觉别的一致性，让卷积结构更简单
- 不需要滋行参数优化，所以这一感可以造免过拟合
- 它对至间信息进行了求和，因而对输入的空间变换更具有稳定性
2.网络结构（MLP卷积层）
3.caffe中的实现
总结：
输入：224*224*3的RGB图像
卷积：一共4个卷积(conv1、conv2、conv3、conv4)，卷积核大小依次为11*11、5*5、3*3、3*3
池化：pool1、pool2、pool3用3*3，pool4-ave用6*6
4.1*1卷积的作用
很多网络使用1X1卷积核，这能起到什么作用呢？
答：1X1卷积核就是对输入的一个比例缩放，因为1X1卷积核只有一个参数，这个核在输入上滑动，就相当于给输入数据乘以一个系数。
- 对单通道feature map和单个卷积核来说，上面理解是对的。
- 多通道feature map和多通道卷积核之间的操作，1x1的卷积核实现多个feature map的线性组合，实现feature map在通道个数上的变化。
- 实现跨通道的交互和信息整合，进行卷积核通道数的降维和升维