学习笔记2 - GoogLeNet

赫布理论：突触前神经元向突触后神经元的持续重复的刺激，可以导致突触传递效能的增加。在人工神经网络中，突触间传递作用的变化被映射成神经元网络图中相应权重的变化。如果两个神经元同步激发，则它们之间的权重增加；如果单独激发，则权重减少。其中w是从神经元 j 到神经元 i 的联接权重，x是神经元的输入。

作者提到对于MNIST等数据集，卷积神经网络通常有标准结构——堆叠的卷积层（后面可以选择有对比归一化和最大池化）后面连接一个或更多的全连接层。对于更大的数据集选择增加层的数目和层的大小，使用丢弃来解决过拟合问题。

关于论文Going deeper with convolutions的学习

一、动机

增加网络的尺寸是提高深度神经网络性能最直接的方式，但作者提出了两个问题：

1、网络更大的尺寸意味着更多的参数，这会使网络更容易过拟合，尤其是在训练集的标注样本有限的情况下。并且获得强标注数据集费时费力且代价昂贵。

2、计算资源使用的显著增加。（出于对算法效率尤其是它们的电力和内存的考虑提出了本文中呈现的深度架构设计）

二、解决思路

引入稀疏性，将全连接层fully connected替换为稀疏连接结构sparsely connected architectures。

其理论基础：如果数据集的概率分布可以通过一个大型稀疏的深度神经网络表示，则最优的网络拓扑结构可以通过分析前一层**的相关性统计和聚类高度相关的神经元来一层层的构建。

三、Inception module

这种朴素版本存在一个问题：在具有大量滤波器的卷积层之上，即使适量的5×5卷积也是非常昂贵的，池化层输出和卷积层输出的合并会导致这一阶段到下一阶段输出数量不可避免爆炸式的增加。

为解决该问题，作者提出在计算大量增多时减少维度，其理论支持是即使低维嵌入也包含大量关于较大图像块的信息。

网络中添加了额外的1 × 1卷积层，这有两个目的：一是增加网络的深度，二是用来作为降维模块来移除卷积瓶颈，否则将会限制我们网络的大小。这都没有明显的性能损失。

该架构的优点：1）该架构在尺寸较大的块进行昂贵的卷积之前普遍使用降维，使它能显著增加每个阶段的单元数量，而不会在后面的阶段出现计算复杂度过度增加。2）视觉信息在不同的尺度上处理然后聚合，能在下一阶段从不同尺度同时抽象特征。

四、GoogLeNet架构

网络有22层。所有的卷积、降维/投影层都使用了修正线性**。网络中使用average pooling代替全连接，发现结果提高0.6%，并且使用dropout是必要的被保留。

训练：使用异步随机梯度下降，动量参数为0.9，固定学习率（每8次遍历下降学习率4%）