[深度学习]经典网络结构(二)——Alexnet(2012)
#本文意为总结自己学习的网络模型,以留作笔记使用,如有错误,欢迎在下方评论
一、简介
AlexNet可以说是现代深度CNN的奠基之作,它可以算是LeNet5的一种更深更宽的版本。
二、网络结构
AlexNet网络的输入尺寸为224*224*3,不计算输入层,池化层和LRN层,共有8层(5conv+3fc)
三、网络结构详解
([1conv+1LRN+1MP]*2 + 2conv + [1conv+1MP]*1 + 2Fc + 1output )
输入图像规格为224*224*3,实际上会经过预处理变为227*227*3
网络特点:
(1)数据增强(平移、仿射、光照颜色变换),随机地从256*256的原始图像中截取224*224大小的区域(以及水平翻转的镜像)
(2)将AlexNet分布在两个GPU上,在每个GPU的显存中储存一半的神经元的参数
(3)RELU**函数,ReLU(Wx+b) = max(Wx+b,0)
(4)AlexNet全部使用最大池化,避免平均池化的模糊化效果。
(5)标准化[LRN]:对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力
(6)【Dropout】AlexNet在后面的三个全连接层中使用Dropout,随机忽略一部分神经元,以避免模型过拟合
四、使用注意
论文中指出,如果去掉任何一个卷积层,都会使网络的分类性能大幅下降
参考:
卷积神经网络常见架构AlexNet、ZFNet、VGGNet、GoogleNet和ResNet模型
【深度学习】AlexNet原理解析及TensorFlow实现