卷积神经网络的基本概念

什么是人工神经网络？

1. 人工只能领域$\longrightarrow$⟶计器学习；
2. 神经元$\longrightarrow$⟶网络节点；
3. 神经网络：输入层、输出层、隐藏层；

什么是感知器？

1. 第一个具有完整算法描述的神经网络学习算法（称为感知器学习算法：PLA）；
2. 任何线性分类或线性回归问题都可以用感知器来解决；

人工神经网络

多层感知机也叫人工神经网络；

深度学习

含多隐藏层的多层感知器就是一种深度学习结构；

前向运算、反向传播

1. 计算输出值的过程称为前向传播；
2. 反向传播：神经网络（参数模型）训练方法；
3. 神经网络训练是一个不断迭代的过程；

梯度下降算法

沿着倒数下降的方法，进行参数更新；

什么是卷积神经网

以卷积结构为主，搭建起来的深度网络

1. 将图片做为网络输入，自动提取特征，并且对图片的变形（如平移、比例缩放、倾斜）等具有高度不变形；

卷积的基本定义

对图像和滤波矩阵做内积（逐个元素相乘再求和）的操作；

1. 滤波器；
2. 每一种卷积对应一种特征；
3. lm2col实现卷积计算；

卷积核

1. 最常用的为2D卷积核；
2. 权重和偏置项；
3. 常用卷积核：$1\times1,3\times3,4\times4$1×1,3×3,4×4;

卷积中的重要参数

卷积———权值共享与局部连接（局部感受野/局部感知）

1. 卷积运算坐拥在局部；
2. Featrue Map使用同一个卷积核运算后得到的一种特征；
3. 多种特征值采用多个卷积核；

卷积核与感受野

1. 2个$3\times3$3×3=1个$5\times5$5×5;
2. 3个$3\times3$3×3=1个$7\times7$7×7;

卷积核：

1. 如何计算卷积核参数量？
   • $(k_w\times k_h\times InChannel+1)\times OutChannel$(kw​×kh​×InChannel+1)×OutChannel
2. 如何计算卷积核的计算量？
   • $In_w\times In_h\times (k_w\times k_h\times InChannel+1)\times OutChannel$Inw​×Inh​×(kw​×kh​×InChannel+1)×OutChannel

步长

1. 下采样的过程；
2. 输出Feature Map的大小如何变化？
3. 参数两和计算量；

Pad

1. 确保Feature Map整数倍变化，对尺度相关的任务尤为重要；
2. 参数量和计算量；

池化的基本概念

1. 池化：对输入的特征图进行压缩；
   • 使特征图变小，简化网络计算复杂度；
   • 进行特征压缩，提取主要特征；
   • 增大感受野；
2. 常见的池化策略
   • 最大池化
   • 平均池化
   • 随机池化

**函数

1. 增加网络的非线性，进而提升网络的表达能力；
   • 非线性、单调性、可微性、取值范围
   • Sigmod，Tanh，ReLU，ELU，Maxout，Softplus，Softsign

BathNorm层

通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分部强行拉回到均值为0方差为1的标准正态分部；

1. 减少了参数的人为选择，可以取消Dropout和L2正则项参数，或者采取更小的L2正则项约束参数；
2. 减少了对学习率的要求；
3. 可以不再使用局部相应归一化，BN本身就是归一化网络（局部相应归一化————AlexNet）；
4. 破坏原来的数据分布，一定程度上缓解过拟合。

全连接层

连接所有的特征，将输出值送给分类器（如softmax分类器）

1. 将网络的输出变成一个向量；
2. 可以采用卷积代替全连接层；
3. 全连接层是尺度敏感的；
4. 配合使用dropout层；

Dropout层

在训练过程中，随机的丢弃一部分输入，此时丢弃部分对应的参数不会更新

1. 解决过拟合的问题；

损失层

损失函数：用来评估模型的预测值和真实值的不一致程度；