IEEE 2017 STAM16 阅读笔记

论文链接：https://arxiv.org/pdf/1708.02843.pdf

 

摘要

本文设计了一个基于CNN架构的在线MOT方法。该框架利用了单目标跟踪的优点：能在下一帧中适应外观模型并搜索目标。通常在MOT中使用单目标跟踪子会遇到计算效率低下、因遮挡产生漂移等问题。本文通过对每个目标共享特征并利用ROI Pooling获得独立特征来提升计算效率。一些在线学习针对目标的CNN层也被用于适应外观模型中。本框架通过引入了时空注意力机制，来解决由遮挡和目标间交叉产生的漂移问题。目标的可见图被用于学习并得到时空注意力图，接着时空注意力图用来对特征赋权重。另外，可以从可视图预测出遮挡状态。可视图在训练样本上的不同帧得到的不同遮挡状态，通过权重损失来控制在线更新进程。这一过程即为时空注意力机制。

 

 

在线MOT算法

步骤1：在当前帧t，使用运动模型得到每个目标的搜索区域。在该区域采样得到候选目标。

步骤2：通过ROI-Pooling和空间注意力赋权得到每个候选目标的特征。然后使用二值分类器找到被用于预测目标装的有最大分数的匹配的最佳候选目标。

步骤3：通过对应预测目标状态得到可视图的每个跟踪目标。然后这些跟踪目标的空间信息以及它们的邻近目标被用来推断时间注意力。

步骤4：根据训练样本在当前和过去帧由时间注意力权重得到的的损失值来更新每个目标的CNN分支。每个目标的运动模型根据对应预测目标状态进行更新。

步骤5：根据目标管理策略初始化新目标以及终止未跟踪目标。

步骤6：如果t不是最后一帧，进入t+1帧并返回步骤1。