卷积神经网络常用结构

卷积神经网络常用结构
一、卷积层
1、卷积操作流程

传统神经⽹络

卷积神经网络

传统的神经⽹络是⼀个平⾯，⽽卷积神经⽹络是⼀个三维⽴体的。 卷积神经⽹络多了⼀个概念—深度。

卷积其实是⼀种特征提取的⽅法，最终⽬的是要得到计算机更容易读懂的 特征。

假设已有输⼊数据，此时提取特征，以前是对每个像素点都进⾏变 换处理，看起来是独⽴对待每⼀个像素点特征。但图像中的像素点 是有⼀定连续关系的。如果能把图像按照区域进⾏划分，再对各个 区域进⾏特征处理应当更加合理。

假设把原始数据平均分成多个⼩块，接下来要对每⼀个⼩块进⾏特 征提取，从每⼀⼩部分中找出关键特征代表。

通过过滤器进⾏特征提取之后，得到下图结果，看起来像是两块板 ⼦，它们就是特征图，表示特征提取的结果。为什么是两个呢？这 ⾥在使⽤filter进⾏提取的时候，不仅可以⽤⼀种特征提取的⽅法， 也就是说filter可以有多个。

在⼀次特征提取的过程中，如果使⽤6种不同的filter，那么肯定会 得到6张特征图，再把他们堆叠在⼀起，就得到了输出结果。这其 实就是⼀次卷积操作。

不光可以在原始输⼊数据进⾏特征提取，也可以在卷积的结果上进 ⾏卷积操作。

过滤器（内核）：可以将当前神经⽹络上的⼀个⼦节点矩阵转化为下⼀层 神经⽹络上的⼀个单位节点矩阵。

在⼀个卷积层中，过滤器所处理的节点矩阵的⻓和宽都是由⼈⼯指定的， 这个节点矩阵的尺⼨也被称为过滤器的尺⼨。常⽤的过滤器尺⼨有3乘3或5 乘5。因为过滤器处理的矩阵深度和当前神经⽹络节点矩阵的深度是⼀致 的，所以虽然节点矩阵是三维的，但过滤器的尺⼨只需要指定两个维度。 过滤器中另外⼀个

需要⼈⼯指定的设置是处理得到的单位节点矩阵的深 度，这个设置称为过滤器的深度。注意过滤器的尺⼨指的是⼀个过滤器输 ⼊节点矩阵的⼤⼩，⽽深度指的是输出单位节点矩阵的深度。

 

2、卷积计算方法

filter中的数值与神经⽹络中的权重参数的概念⼀样，表示对特征进⾏变换 的⽅法。 初始值可以是随机初始化的，然后通过反向传播不断进⾏更新，最终要求 解的就是filter中每个元素的值。 每⼀个对应区域与filter计算内积即可，最终得到是⼀个结果值，表 示该区域的特征值。 图像中的区域并不是⼀个平⾯，⽽是⼀个带有颜⾊通道的三维数 据，所以还需把所有颜⾊通道的结果分别计算，最终求和即可。 区域的选择与滑动窗⼝差不多，需要指定滑动的步⻓，以依次选择特征提 取的区域位置。 滑动两个单元格（步⻓也是卷积中的参数，需要⾃⼰设置）

 

继续滑动窗⼝，直到计算完最后⼀个位置的特征值，这样就得到⼀个特征 图（3乘3乘1）。 通常⼀次卷积操作都希望能够得到更多的特征，所以⼀个特征图肯定不够 ⽤，这⾥实际上选择两个filter，也就是有两组权重参数进⾏特征提取，由 于filter w0和filter w1中的权重参数数值各不相同，所以得到的特征图肯定 也不同，相当于⽤多种⽅式得到不同的特征表示，再把它们堆叠在⼀起， 就完成全部卷积操作。

 

 

3、卷积涉及的参数

卷积核：

卷积操作中最关键的就是卷积核，它决定最终特征提取的效 果，需要设计其⼤⼩与初始化⽅法。⼤⼩即⻓和宽，对应输⼊的每⼀ 块区域。保持数据⼤⼩不变，如果选择较⼤的卷积核，则会导致最终 得到的特征⽐较少，相当于在很粗糙的⼀⼤部分区域中找特征代表， ⽽没有深⼊细节。所以，现阶段再设计卷积核时，基本都是使⽤较⼩ 的⻓和宽，⽬的是得到更细致（数量更多）的特征。

步⻓：

在选择特征提取区域时，需要指定每次滑动单元格的⼤⼩，也 就是步⻓。 如果步⻓⽐较⼩，意味着要慢慢地尽可能多地选择特征提取区域， 这样得到的特征图信息也会⽐较丰富。 如果步⻓⽐较⼤，选中的区域就会⽐较少，得到的特征图也会⽐较 ⼩。

 

边界填充：

边界上的像素点可能只被滑动⼀次，也就是只能参与⼀次计算，相 当于对特征图的贡献⽐较⼩。 ⾮边界上的点，可能被多次滑动，相当于在计算不同位置特征的时 候被利⽤了多次，对整体结果的贡献就⽐较⼤。

特征图规格计算：

二、池化层

池化层基本就是放到卷积层之后使⽤的，很少直接对原始图像进⾏池化操 作，所以⼀般输⼊的都是特征图。经过池化操作之后，给⼈直观的感受就 是特征图缩⽔了。 池化层的作⽤就是对特征图进⾏压缩，因为卷积后得到太多特征图，能全 部利⽤肯定最好，但是计算量和涉及的权重参数随之增多，不得不采取池 化⽅法进⾏特征压缩。