卷积和池化层笔记

1、局部感知

由来：

认为人对外界的感知是从局部到全局的，而图像的空间联系也是局部的联系较为紧密，而距离较远的像素的相关性较弱。因为，每个神经元没必要对全局图像进行感知，只需要对局部进行感知，然后在高层将局部的信息综合起来就得到了全局的信息。每个神经元只是连接输入神经单元的一部分。此外，图像的像素也是局部时空相关的。先局部感知，再综合起来得到全局的信息。

实际中：

让图像的一个小块对应一个神经元，计算出一个内积值再加**函数就是一个神经元的输出，对应一张特征图或者是**图，是由很多神经元的输出铺满的。可以大大地压缩参数的体积和大小。

2、参数共享

由来：自然图像具有固有特性，也就是说，图像的一部分统计特性和其他部分是一样的，意味着我们在这一部分上学习的特征也能用到另一部分上。对于图像的所有的位置都使用学到的同样的特征。

3、几个问题

1、同一个卷积层为什么要需要多个不同的滤波卷积核？

理由：不同的卷积核对应提取图像多个角度多个层次的特征，多个角度多方位的观察。不同的卷积核对应对图像做不同的图像变换和特征提取。以下两个图为课程中ppt截取。

作用： 对图像产生多个角度和多个层次的特征和观察，产生丰富的特征。

2、参数和学习模型的关系？

学习器模型中的可训练的参数越多，决策边界的自由度越大，由于噪音点的存在，对特征空间的划分就越凌乱，越容易出现过拟合。

3、从特征层和参数面理解卷积和池化

卷积：是特征提取的过程，卷积越多，提取的特征越抽象，越丰富；池化：降低特征的维度，使特征越来越鲁棒。更一般点说：卷积使类间可分性增加，提去更好的特征，将不同类的样本独特性显示出来；池化，相当于将特征模糊了，这样导致同类样本的差异性被抹平，不同类样本的差异性也被抹平，池化增加特征的鲁棒性。本质来说：卷积和池化是相互矛盾的。

从参数角度：卷积越多，参数越多；池化本质上降采样，减少模型的参数数目，可以防止过拟合。