卷积神经网络演进（四）
前面三章我们介绍了从LeNet到ResNet的演进，今天我们来介绍一下DenseNet。
DenseNet这个网络的最大特色是Dense Block
如图所示的结构就叫作Dense Block，它包括输入层在内共有5层，H是BN+ReLU+3x3Conv的操作，并不改变feature map的大小。对于每一层来说，前面所有层的feature map都被直接拿来作为这一层的输入。growth rate就是除了输入层之外，每一层feature map的个数。它的目的是，使得block中的任意两层都能够直接”沟通“。
其实在Dense Block输出的地方还有一个bottleneck layer，在bottleneck layer中的操作是一个1x1的卷积，卷积核共有4k个，降低channel维度，也就是减少了模型的参数。
在transition layer中有进一步压缩的操作称为compression，减少百分之θ的feature map数量，论文中使用的θ=0.5。
然后介绍DenseNet的模型：
就是说，DenseNet其实是由若干个Dense Block串联起来而得到的，在每个Dense Block之间有一个Convolution+Pooling的操作，也就是图1中的transition layer。transition layer存在的意义是实现池化，作者在论文中承认了pooling的重要性。
分析一下为什么会从ResNet发展到DenseNet：
借用论文里的话，ResNet直接通过"Summation"操作将特征加起来，一定程度上阻碍（impede）了网络中的信息流。DenseNet通过连接（concatenate）操作来结合feature map，并且每一层都与其他层有关系，都有”沟通“，这种方式使得信息流最大化。其实DenseNet中的dense connectivity就是一种升级版的shortcut connection，提升了网络的鲁棒性并且加快了学习速度。
DenseNet的各种模型结构如图：
图中的每个conv代表的都是BN+ReLU+Conv的一连贯操作。
本文转载来自作者山隹木又