前言

在基于anchor的目标检测方法中，检测器利用目标与anchor之间的IoU作为分配anchor的标准，每个被分配的anchor独立地监督网络学习，以进行分类与定位。也就是说，分类与定位之间是没有交互的，如果一个检测结果的定位精度较高但分类置信度较低，那么它有可能在NMS操作中被过滤掉。

为了解决这个问题，本文提出Multiple Anchor Learning（MAL），这是一种可以自动学习anchor的方法，通过anchor-object匹配来联合优化分类和定位。在训练时，根据anchor与目标bbox之间的IoU进行排序，选择IoU位于前面的anchor，用它们构建一个属于该目标的anchor bag，然后MAL通过结合分类与定位分数，评估出每个anchor bag中的positive anchor。在每次迭代过程中，MAL使用所有的positive anchor来优化训练损失，选出分数最高的anchor作为最终的选择。这样一来，分类分数和定位分数就能同时达到最高。

在每次迭代中选择分数最高的anchor可能并不会达到最好的结果，比如目标的一部分被错误地定位，但由于分类分数较高，因此总分数也较高。为了解决这个问题，本文还提出一种selection-depression优化策略，通过扰动分数较高的anchor的特征，来反复降低该anchor的置信度，从而保证最终所选择的anchor是最优的。

---

方法实现

1. MAL

上图是MAL的整体思想，在每次迭代过程中，MAL选出anchor bag中得分较高的anchor以更新模型，更新后的模型为每个anchor评估新的置信度。通过一次次的anchor选择和模型学习以实现最终的优化。

接下来说一下具体过程：首先为第$i$i个目标构建一个anchor bag $A_i$Ai​，也就是根据anchor与gt之间的IoU，选出前$k$k个anchor 放入$A_i$Ai​中。然后在网络参数的学习过程中，MAL为$A_i$Ai​中的anchor评估出它们的分类和定位置信度，这些置信度用于之后anchor的选择以及说明每个anchor的重要性。这里仅考虑对positive anchor的计算，MAL有如下目标函数：

其中$f_{\theta}(\cdot)$fθ​(⋅)和$g_{\theta}(\cdot)$gθ​(⋅)分别计算分类和定位置信度，$\beta$β是正则化因子，最终是要为目标$i$i选出最优的positive anchor $a^*_i$ai∗​，同时学习网络参数$\theta^*$θ∗。总结一下就是，在构建$A_i$Ai​之后，MAL评估出$A_i$Ai​中每个anchor的分类和定位置信度，利用式（3）选出分数较高的anchor来更新模型参数，再使用更新后的模型重新评估anchor的分类和定位置信度，经过一次次这样的迭代过程，最终选出最优的anchor，以及计算出最优的模型参数。

式（3）可以转换为损失函数为：

2. selection-depression优化策略

anchor selection

从anchor-bag中选出分数较高的anchor是很困难的，因此本文提出"All-to-Top-1"anchor 选择策略，在学习过程中，线性降低$A_i$Ai​中的anchor数量直到降为1。设$\lambda=t/T$λ=t/T，$t$t和$T$T分别是当前和总的迭代次数，然后设$\phi(\lambda)$ϕ(λ)表示排名前几位的anchor的索引，$|\phi(\lambda)|=|A_i|*(1-\lambda)+1$∣ϕ(λ)∣=∣Ai​∣∗(1−λ)+1，那么式（3）可以被改写为：

MAL通过利用多个anchor在训练的早期epoch中学习一个检测模型，然后在最后一个epoch中使用一个最优anchor使模型收敛。

anchor depression

如上图是MAL的实现过程，它在RetinaNet的基础上添加了anchor selection模块和anchor depression模块。anchor depression模块其实就是给未被选择的anchor更多的机会以参与训练。设feature map和attention map分别是$U$U和$M$M，$M=\sum_lw_l*U_l$M=∑l​wl​∗Ul​，其中$w$w是$U$U的全局平均池化，$l$l是$U$U的通道索引。然后通过将较高的值骤降为0，生成新的depressed attention map $M^{'}=(1- \Bbb{1_p})*M$M′=(1−1p​)∗M，那么被扰动后的feature map $V$V为：

式（6）可以被改写为：

其中$\psi(\lambda)$ψ(λ)表示有多少个像素被扰动。

selection-depression策略其实是一个对抗的过程。selection找出得分较高的anchor从而最小化检测损失$L_{det}$Ldet​；而depression通过扰动这些被选择的anchor的特征，降低这些anchor的置信度，从而$L_{det}$Ldet​又再一次上升。如下图所示，在第一个弯道中，MAL选择次优的anchor并且陷入损失函数的局部最小值；然后在第二个弯道中，anchor depression增加了损失，使得局部最小值被"填满"，从而MAL能够继续这个优化过程。通过这种方式，在最终收敛的时候，MAL能有更好的机会找到最优解。

---

结论

MAL用于解决分类和定位置信度之间的不匹配问题，通过结合分类与定位置信度，选出分数较高的anchor，然后用这些anchor来更新模型参数，再用更新后的模型重新评估被选择的anchor的分类与定位置信度，重复这一过程，最终可得到最优的anchor和模型参数。而为了解决在选择anchor时的局部最优问题，又提出selection-depression策略，这是一个对抗性的策略，通过selection最小化损失函数但陷入局部最优，然后通过depression增加损失函数跳出局部最优，重复这一过程，最终可得到一个最优解。