论文笔记：DeepSORT

1.简介

这是ICIP2017的一篇经典多目标跟踪的论文。本篇论文基于SORT改进，通过加入深度特征来减少ID Switch，实现了更高的跟踪指标，并在GTX 1050上实现了20Hz的处理速度。

2.动机

之前的SORT算法虽然速度很快，但是由于在跟踪过程中只使用了尺度和位置信息，导致在位置不确定性很大时（比如遮挡），非常容易出现ID Switch的情况。因此本文引入了深度特征，来解决这个问题。

3.方法

3.1 状态表示

每条跟踪轨迹的状态表示为$(u,\ v,\ \gamma,\ h,\dot{x},\dot{y},\dot{\gamma},\dot{h})$(u, v, γ, h,x˙,y˙​,γ˙​,h˙)，其中$(u,\ v,\ \gamma,\ h)$(u, v, γ, h)表示目标的位置坐标$(u,\ v)$(u, v)和尺寸$(\gamma,h)$(γ,h)。每一条轨迹保留A_max个age的数据。

3.2 分配问题

跟踪的具体实现通过构建一个检测目标与跟踪目标对应匹配的跟踪问题来实现，分配算法同样选用匈牙利算法。
为了融合运动信息和外观（深度特征）信息，文章提出了两个距离，分别用马氏距离表示运动信息和余弦距离表示外观。计算公式如下：
运动信息：
$d^{(1)}(i,\ j)=(\pmb{d}_{j}-\pmb{y}_{i})^{\text{T}}\pmb{S}_{i}^{-1}(\pmb{d}_{j}-\pmb{y}_{i})$d(1)(i, j)=(dddj​−y​y​​yi​)TSSSi−1​(dddj​−y​y​​yi​)
外观信息：
$d^{(2)}(i, \ j)=\min\{1-\pmb{r}_{j}\ ^{\text{T}}\pmb{r}_{k}^{(i)}\vert \pmb{r}_{k}^{(i)}\in \mathcal{R}_{i}\}$d(2)(i, j)=min{1−rrrj​ Trrrk(i)​∣rrrk(i)​∈Ri​}
将距离变成0和1二值变量：
$b_{i,j}^{(1)}=1[d^{(1)}(i,j)\le t^{(1)}]$bi,j(1)​=1[d(1)(i,j)≤t(1)]、$b_{i,j}^{(2)}=1[d^{(2)}(i,j)\le t^{(2)}]$bi,j(2)​=1[d(2)(i,j)≤t(2)]
加权求和：$c_{i,j}=\lambda d^{(1)}(i,j)+(1-\lambda)d^{(2)}(i,j) \tag{1}$ci,j​=λd(1)(i,j)+(1−λ)d(2)(i,j)(1)
求交集：$b_{i,j}=\prod_{m=1}^{2}b_{i,j}^{(m)} \tag{2}$bi,j​=m=1∏2​bi,j(m)​(2)
具体算法如图所示：

算法思路为：初始化成本矩阵（公式(1)计算）和门矩阵（公式2计算），用M记录匹配的i和j（匹配轨迹和检测），U记录剩余的检测结果。时间从1迭代到A_max，将匹配的结果加入M中，同时除去D中已经被匹配了的检测结果。

3.3外观深度特征提取器

深度特征用一个预训练好的深度神经网络提取，网络结构如图。

4.结果