Alexnet详解
1、Lenet详解
3、VGG网络结构
4、NIN网络结构
5、Googlenet inception v1 结构详解、inception v2 和 inception v3
AlexNet是2012年ImageNet项目的大规模视觉识别挑战(ILSVRC)中的胜出者。AlexNet解决了1000类图像分类的问题，输入一个图像，输出向量一个1000维度向量，向量第i个元素即为输入图像属于第i类图像的概率。
一、网络结构
先看一下论文给出的网络结构图，最权威。
下面是作为一个初学者对这个结构的理解：
二、技术点
1、双GPU并行计算
从网络结构可以看出Alexnet将卷积核分在了两个GPU上并行计算。
2、LRN局部标准化层
跨通道归一化，即在不同的5个通道间做归一化，比如5个通道对应的元素除五个元素之和。有什么用呢，归一化是将不同变化范围的值映射到相同的固定范围中，消除数值大小对数据规律的影响。而不同通道之间的归一化呢？
3、 Overlapping Pooling重叠的池化
卷积核在遍历图像进行池化时，步长小于卷积核尺寸造成对重叠部分的重复池化。
4、ReLu**函数
Sigmoid：S型曲线，，非线性饱和函数，饱和是指斜率会逐渐趋近于0，这对反向求导很不利，更容易造成梯度消失
ReLu：f(x)= max(0,x)，，非线性非饱和函数，求导函数简单，计算速度增快，Alexnet采用ReLu
5、Dropout
在全连接层随机丢弃一定比例（比如0.5）神经元，每次只训练50%的参数，避免过拟合。最后该全连接层每一个参数都得到训练，在测试时随机抽出50%的参数去预测，个人猜想，可以多抽取几个50%参数得到不同的结果，最后做一下bagging.
6、数据增强
将图片镜像、原图是256x256，需要的输入图片是224x224，因此只要裁剪时包含分类对象，就可以裁剪出N多个输入图片。