【论文快读】AlexNet

题目：ImageNet Classification with Deep Convolutional
Neural Networks
作者：Alex Krizhevsky; Ilya Sutskever; Geoffrey E. Hinton
摘要：

60,000个参数，650,000个神经元，5个卷积池化层，3个全连接层，1000路的softmax，使用ReLU实现加速，使用dropout来防止过拟合。

ReLU函数

相对于sigmoid函数和tanh函数，ReLU函数具有的无饱和区特性和非线性的特性能大大加速训练。

normalization

由于ReLU的存在，数据将不需要预先的normalization。但是作者在activation之后增加了一个local response normalization。记

保证同一index的像素在层数递进过程中的相关性。其中k$k$、α$\alpha$、n$n$、β$\beta$是超参数。

overlapping pooling

传统的池化方法为“分割-择优”，然而本文采用重叠池化，令z×z$z\times z$的像素区域中择优之后，计stride<z$stride<z$，这意味着池化层输入矩阵的内部（相对于边界区域）的某些像素参与了多次池化。经实验，此方法可以提高准确率。

减少过拟合

此种包括两种数据增强（data augmentation）方法：
1.通过随机提取像素增加寻训练图片；
2.对RGB channel做PCA之后，再进行乘性随机扰动。
以及训练过程中采用dropout（神经元以0.5的概率置零，从而使得最终的网络结果类似于adaboost）也能避免overfitting。

卷积核

第一层96个，11×11×3$11\times 11\times 3$ stride 4；
第二层256个，5×5×48$5\times 5\times 48$；
第三层384个，3×3×256$3\times 3\times 256$；
第四层384个，3×3×192$3\times 3\times 192$；
第五层256个，3×3×192$3\times 3\times 192$；