细枝末节的知识点：LOSS解析

---

知乎爽文：

• 神经网络学习过程本质就是为了学习数据分布,一旦训练数据与测试数据的分布不同,那么网络的泛化能力也大大降低;另外一方面，一旦每批训练数据的分布各不相同(batch 梯度下降),那么网络就要在每次迭代都去学习适应不同的分布,这样将会大大降低网络的训练速度。

• 解决办法之一是对数据都要做一个归一化预处理。YOLOv2网络通过在每一个卷积层后添加batch normalization，极大的改善了收敛速度同时减少了对其它regularization方法的依赖（舍弃了dropout优化后依然没有过拟合），使得mAP获得了2%的提升。
• High Resolution Classifier，YOLOv2首先修改预训练分类网络的分辨率为448*448，在ImageNet数据集上训练10轮（10 epochs）。这个过程让网络有足够的时间调整filter去适应高分辨率的输入。然后fine tune为检测网络。mAP获得了4%的提升。
• Convolutional With Anchor Boxes.YOLOv2借鉴了Faster R-CNN中的anchor思想。由于都是卷积不需要reshape，很好的保留的空间信息，最终特征图的每个特征点和原图的每个cell一一对应。而且用预测相对偏移（offset）取代直接预测坐标简化了问题，方便网络学习。
• 总的来说就是移除全连接层（以获得更多空间信息）使用 anchor boxes 取预测 bounding boxes。

---

• 去掉最后的池化层确保输出的卷积特征图有更高的分辨率。

• 缩减网络，让图片输入分辨率为416 * 416，目的是让后面产生的卷积特征图宽高都为奇数，这样就可以产生一个center cell。因为作者观察到，大物体通常占据了图像的中间位置，可以只用一个中心的cell来预测这些物体的位置，否则就要用中间的4个cell来进行预测，这个技巧可稍稍提升效率。

• 使用卷积层降采样（factor 为32），使得输入卷积网络的416 * 416图片最终得到13 * 13的卷积特征图（416/32=13）。

• 把预测类别的机制从空间位置(cell)中解耦，由anchor box同时预测类别和坐标。因为YOLO是由每个cell来负责预测类别，每个cell对应的2个bounding box 负责预测坐标（回想YOLO中 最后输出7730的特征，每个cell对应1130，前10个主要是2个bounding box用来预测坐标，后20个表示该cell在假设包含物体的条件下属于20个类别的概率，具体请参考 图解YOLO 的图示） 。

• YOLOv2中，不再让类别的预测与每个cell（空间位置）绑定一起，而是让全部放到anchor box中。

下面是特征维度示意图（仅作示意并非完全正确）

---

• Dimension Clusters（维度聚类）
  代码实现

链接

K-means聚类方法，通过对数据集中的ground true box做聚类，找到ground true box的统计规律。以聚类个数k为anchor boxs个数，以k个聚类中心box的宽高维度为anchor box的维度。

centroid是聚类时被选作中心的边框，box就是其它边框，d就是两者间的“距离”。IOU越大，“距离”越近

---

• Direct location prediction(约束预测边框的位置)

  使用anchor boxes的另一个问题是模型不稳定，尤其是在早期迭代的时候。大部分的不稳定现象出现在预测box的（x,y）坐标时。

  在区域建议网络（RPN）中会预测坐标就是预测tx，ty。对应的中心点（x,y）按如下公式计算：

  

  最终，网络在特征图（13 *13 ）的每个cell上预测5个bounding boxes，每一个bounding box预测5个坐标值：tx，ty，tw，th，to。

  

---

• Fine-Grained Features（细粒度特征）

  passthrough层检测细粒度特征

  修改后的网络最终在13 * 13的特征图上进行预测，虽然这足以胜任大尺度物体的检测，如果用上细粒度特征的话可能对小尺度的物体检测有帮助。

  把26 * 26 * 512的特征图叠加成13 * 13 * 2048的特征图，与原生的深层特征图相连接。

  

  YOLOv2的检测器使用的就是经过扩展后的的特征图，它可以使用细粒度特征，使得模型的性能获得了1%的提升。

  在最后一个卷积前做次操作！

• Multi-ScaleTraining ，

  不是预训练

  原始YOLO网络使用固定的448 * 448的图片作为输入，加入anchor boxes后输入变成416 * 416，由于网络只用到了卷积层和池化层，就可以进行动态调整（检测任意大小图片）。为了让YOLOv2对不同尺寸图片的具有鲁棒性，在训练的时候也考虑了这一点。同一个网络可以进行不同分辨率的检测任务，在小尺寸图片上YOLOv2运行更快，在速度和精度上达到了平衡。

  不同于固定网络输入图片尺寸的方法， 每经过10批训练（10 batches）也称为（10 iteration）就会随机选择新的图片尺寸。网络使用的降采样参数为32，于是使用32的倍数{320,352，…，608}，最小的尺寸为320 * 320，最大的尺寸为608 * 608。 调整网络到相应维度然后继续进行训练。

  分辨预训练和训练多尺度防止混淆

  

• Darknet-19 ,网络模型

  YOLOv2使用了一个新的分类网络作为特征提取部分，参考了前人的工作经验。类似于VGG，网络使用了较多的3 * 3卷积核，在每一次池化操作后把通道数翻倍 。借鉴了network in network的思想，网络使用了全局平均池化（global average pooling）做预测，把1 * 1的卷积核置于3 * 3的卷积核之间，用来压缩特征。使用batch normalization稳定模型训练，加速收敛，正则化模型。

  最终得出的基础模型就是Darknet-19，包含19个卷积层、5个最大值池化层（max pooling layers ）。Darknet-19处理一张照片需要55.8亿次运算，imagenet的top-1准确率为72.9%，top-5准确率为91.2%。

  

  • Training for classification , Training for detection

    对于VOC数据集，预测5种boxes，每个box包含5个坐标值和20个类别，所以总共是5 * （5+20）= 125个输出维度

---

• 更强大（Stronger）

  作者提出了一种在分类数据集和检测数据集上联合训练的机制。

  使用检测数据集的图片去学习检测相关的信息，例如bounding box 坐标预测，是否包含物体以及属于各个物体的概率。使用仅有类别标签的分类数据集图片去扩展可以检测的种类。

  训练过程中把监测数据和分类数据混合在一起。当网络遇到一张属于检测数据集的图片就基于YOLOv2的全部损失函数（包含分类部分和检测部分）做反向传播。当网络遇到一张属于分类数据集的图片就仅基于分类部分的损失函数做反向传播。

  这种方法有一些难点需要解决。检测数据集只有常见物体和抽象标签（不具体）,大多数分类的方法采用softmax层，考虑所有可能的种类计算最终的概率分布。但是softmax假设类别之间互不包含，但是整合之后的数据是类别是有包含关系的，作者最后采用一种不要求互不包含的多标签模型（multi-label model）来整合数据集。这种方法忽略了数据集的结构（例如 COCO数据集的所有类别之间是互不包含的）.

• Hierarchical classification（层次式分类）

  ImageNet的标签参考WordNet（一种结构化概念及概念之间关系的语言数据库）

---

YOLO系列算法详解1:YOLOV2

• 前言

目标检测系统要求快速，准确以及能识别大范围种类数量。但是，目前基于深度神经网络方法的目前检测系统能识别的物品种类较少。其原因在于：相对于物品分类数据集，目标检测数据集中的物品种类较少。标记目标识别数据集所耗费的精力远大于标记物品分类数据集。物品分类数据集包含成千上万种超过数百万张图片，而目标识别数据集就很小了。

本文中，作者提出了一种结合不同类型数据集的方法。基于该方法，作者提出了一种新的联合训练方法，结合目前物品分类数据集的优点，将其应用于训练目标检测模型。模型可以从目标检测数据集中学会准确定位目标，同时从物品分类数据集中学会识别更多的种类，增强模型的鲁棒性。

采用该方法，作者训练了可以识别超过9000种物品的实时目标检测与识别系统-YOLO9000。首先，作者在YOLO的基础上进行了改进，产生了YOLOv2（获得了state of the art）。然后，作者采用数据集结合方法和联合训练方法，采用ImageNet和COCO数据集训练该模型，使该模型可以识别和检测 超过9000种类别。

• BN
  简单来讲就是在每个卷积层的后面（也就是每个卷积层的输入）都加了BN层，这样会收敛快一点，加入BN之后把dropout去掉，实验证明可以提高2%的mAP.

• 训练策略

这个主要是介绍了一下检测模型的一般训练策略。一般都不会从随机初始化所有的参数来开始的，一般都是用预训练好的网络来fine-tuning自己的网络，预训练的网络一般是在ImageNet上训练好的分类网络。

在fine-tuning的时候：

YOLOV1预训练的时候使用的输入，检测的时候采用的是的输入，这会导致分类切换到检测的时候，模型需要适应图像分辨率的改变。

YOLOV2中将预训练分成两步：①：先用的输入来训练大概160个,然后再把输入调整到再训练10个，然后再与训练好的模型上进行fine-tuning，检测的时候用就可以顺利过渡了

---

YOLOv2 / YOLO9000 深入理解

• BN细谈

  

  BN文章

---

• YOLO2在采用 224X224 图像进行分类模型预训练后，再采用 448X448 的高分辨率样本对分类模型进行微调（10个epoch），使网络特征逐渐适应 448X448 的分辨率。然后再使用 448X448 的检测样本进行训练，缓解了分辨率突然切换造成的影响。

• passthrough层检测细粒度特征，很详细！！！

• 整体流程

  
  

注意：是在最后一个卷积之前，做细粒度累加！！就一次卷积操作，然后就去做分类和bbox了！

---

• 损失函数

文章汇总