图像特征学习与分类方法研究
基于深度学习的图像特征学习和分类方法的研究及应用
- 华南理工 冯子勇
研究现状：
1. 单层特征编码
2. 深度学习
- 深度玻尔兹曼机
- 卷积神经网络
Ioffe 和 Szegedy提出了块归一化(Batch Normalization, BN)技术。该技术用在**函数之前对样本不同维度之间进行减均值除方差的归一化操作，他们从理论和实践上证明这样的操作能够使网络收敛速度加快，即使不用Dropout也可保证不会产生过拟合。
在 2015 年的 Image Net
大规模视觉识别挑战比赛中，He 等人提出了深度残差训
练的方法使得他们能够训练非常深的网络，模块结构如图 1-3 所示。他们将输入层跨过几个卷积层和这些卷积层的输出求和，这样就能够更容易地优化残差项。实际上在梯度反传时，梯度可以通过原始输入的分支无损失地传到底层，因此这种网络结构也是一种防止梯度弥散的结构，他们就可以构建更深层的网络构。
特征学习与分类方法简介
1.引言
- 人工设计的特征如梯度方向直方图、局部二进制模式、Gabor 特征、尺度不变特征变换、八方向特征等
- 梯度方向直方图主要应用于物体检测和行人检测；局部二进制模式则一般应用在光照复杂环境下的人脸识别；Gabor 特征是一个比较通用的纹理特征，也被证明和人眼机理相近；尺度不变特征变换则是对于大部分图像识别和分类任务都有很好的效果；八方向特征就是针对联机汉字这种数据形式设计的特征，能够很好的提取时序信息。
- 广义上讲，特征学习是训练得到一个从原特征空间到新特征空间的一个映射，因此并不是说只有深度学习才是特征学习，其他的特征变换方法（如稀疏编码和子空间学习等）也可以称为特征学习。
2. 单层特征学习方法研究
##### 2.1. 受限玻尔兹曼机
* 对于人工神经网络的研究，总的来说有两个主线：一个是以仿生为基础的，另一个是以概率图模型为基础的
* 受限玻尔兹曼机模型 *
2.2. 自动编码机
- 通过找到一个参数向量
Θ 来最小化重构误差
2.3. 稀疏编码
2.4. 子空间学习
- 对于一个高维空间中的数据集，降维算法的目标就是要得到它的一个低维特征表达，对于线性降维，就要找一个投影矩阵
U 使得Y=UTX ;对于非线性降维，很难找到一个显式转换。
3. 多层特征学习方法研究
##### 3.1 深度置信网络
##### 3.2 层叠自动编码机
##### 3.3 深度卷积网络
基于最小分类误差准则的深度学习训练方法
##### 几种损失函数
* 最小均方误差
* Softmax 与交叉熵
* 最小分类误差
* 铰链损失函数（Hinge Loss）