AlexNet

AlexNet参考链接

LRN参考链接

Title

ImageNet Classification with Deep Convolutional Neural Networks

Link

http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

The Architecture

上图的Max pooling就是本文提出的Overlapping Pooling，最大重叠池化。

ReLU Nonlinearity

$f(x)=tanh(x)\ \ or\ \ f(x)=(1+e^{-x})^{-1}$f(x)=tanh(x)  or  f(x)=(1+e−x)−1

在训练期间，这种饱和的**函数梯度下降速度慢于非饱和**函数
$f(x)=max(0,x)$f(x)=max(0,x)
作为，线性修正单元， Rectified Linear Units (ReLUs)

实线为ReLU作为**函数，虚线为tanh作为**函数。

Local Respomse Normalization

ReLU不需要通过输入归一化来防止达到饱和。

如果有一些训练样例对ReLU产生了正输入，学习就将发生在那个神经元。可是，我们仍然发现下列局部归一化方案有助于一般化。用a_x,yⁱ表示点(x,y) 处通过应用核i计算出的神经元**度，然后应用ReLU非线性，响应归一化活性b_x,yⁱ
由下式给出
$b_{x,y}^i=\frac {a_{x,y}^i}{(k+\alpha\sum_{j=max(0,\frac {i-n}2)}^{min(N-1,\frac {i+n}2)}(a_{x,y}^j)^2)^β}$bx,yi​=(k+α∑j=max(0,2i−n​)min(N−1,2i+n​)​(ax,yj​)2)βax,yi​​
其中求和覆盖了n个“相邻的”位于相同空间位置的核映射，N是该层中的核总数。

受到在真实神经元中发现的类型启发，这种响应归一化实现了一种侧向抑制，在使用不同核计算神经元输出的过程中创造对大**度的竞争，对小**度的抑制。

Overlapping Pooling

调整步长，使步长小于池化核尺寸，实现重叠池化。

Reducing Overfitting

防止过拟合

Data Augmentation

数据增强

• 由生成图像转化和水平反射组成
  • 在256×256里随机提取224×224的补丁（四个角和中心），以及它们的水平反射（因此总共十个补丁）
• 改变训练图像中RGB通道的强度
  • 在整个ImageNet训练集的RGB像素值集上执行PCA。对于每个训练图像，我们添加多个找到的主要成分，其大小与对应的特征值成比例，乘以从均值为零且标准偏差为0.1的高斯绘制的随机变量。

Drop out

不参与前向传播和反向传播，只在the first two FC生效。计算时，随机忽略一部分神经元，以避免模型过拟合。