学习函数的优化策略
8 优化
这部分主要包括两个内容一个是优化方法。另一个是传统图像识别方法两步走策略。
优化方法 主要是学习常用的优化算法学习，例如梯度下降，带动量的梯度下降以及Adam等一系列优化方法。其中本节课提到了梯度、导数的含义以及学习率这个重要的超参数，这个超参数是我们训练神经网络需要首要考虑的。随机梯度下降使用minibatch数据来估计总的误差以及梯度，这样速度比使用全部数据计算更快。
两步走策略重点介绍了传统方法如何做图像分类任务。第一步提取图像的特征：颜色分布，HOG, SIFT特征，bag of words。第二使用步分类算法进行识别图像类别。
梯度下降常用的优化策略 sgd adam等方法是大家重点要学习的 ，两步走策略进行图像识别步骤 需要了解。
作业内容：
- 梯度下降策略的公式与描述（sgd, adam）
- 图像识别两步走策略的步骤 ，输入图像特征的动机
首先，计算图片的各种特征代表，可能计算和图片外观有关的数值，然后将不同的特征向量合到一起，得到图像的特征表述；然后，这些特征表述会作为输入源传入线性分类器，而不是将原始像素传入
动机：将线性不可分的数据集通过某种变换变成线性可分的，然后用线性分类器正确分类。整个策略就是要找到正确的特征转换，从而计算出具体问题的正确指标。 - 常见的图像特征有哪些，任意选择两个进行描述（复习hog与sift）
- HoG：方向梯度直方图
- Bag of Words
- 传统方式与神经网络处理图像问题有哪些不同点
传统方式：先提取特征，然后固定特征提取器，使他在训练过程中不会被更新，在训练过程中仅仅更新线性分类器
神经网络：不需要提前记录特征，而是直接从数据中学习特征，在整个网络中训练所有的权重，而不是最上层分类器的权重