深度学习之三 卷积神经网络

深度学习

之三 卷积神经网络

1.问题引入。
普通的神经网络在处理图像时遇到的问题：
参数过多。

参数过多引来的问题有：
①.容易过拟合，导致模型的泛化能力非常差。
②.收敛到较差的局部极值。
解决问题–卷积。

2.卷积。
对于一个图像数据来说，它具有非常强的区域性。基于这样的图像性质，我们可以做一定的筛减，将全连接变成局部连接，从而降低它的参数量。
①.局部连接


由于图像的特征和它的位置无关，我们强制使得每一个神经元和局部连接都使用同样的参数，即参数共享。
②.参数共享


卷积计算中还有一个重要的参数–步长，表示滑动窗口（卷积核）每一次走的步数。如下：

如何使输出的size保持不变呢？可以通过添加padding，如下：

卷积处理多通道的情况时，对于一个多通道，把卷积也变成多通道。在计算过程中，每个通道上的卷积的参数去和去和相应的图像的输入去做内积，然后将这三个通道上得到的同样位置上的内积的结果相加，作为输出的神经元的值。如下：

如何去产生一个多通道的输出神经元的图呢？多加几个卷积核就可以了。加多个卷积核代表可以从图像中提取多种特征。


卷积核总结：

3.**函数。

**函数的共同特点：单调性、非线性。
为什么**函数都是非线性的？
神经网络的结构都是层次的，然后高级的层次和低级的层次是用全连接联系在一起，神经元的参数形成一个矩阵。我们不用非线性的**函数的时候，多个神经网络的层次相当于是每个层次之间都是做了矩阵的操作，而矩阵的操作具有合并性，这时造成的后果就是，即便是很深层次的神经网络，也只相当于是一个单层的神经网络。但是加了非线性**函数之后，这样的情况就不会存在了。
4.池化。



5.全连接。

在神经网络上一旦加了全连接层，后面就不能再加卷积层和池化层了。因为全连接是将矩阵展开成一维向量。
6.卷积神经网络结构。