论文翻译:Multi-camera Multi-object Tracking
Abstract
在本文中,我们提出了一种多摄像机系统下的多目标视觉跟踪流水线。对于多摄像机系统跟踪问题,跨摄像机的高效数据关联以及跨帧的数据关联变得比单摄像机系统跟踪更重要。然而,大多数多摄像机跟踪算法强调单个摄像机跨帧数据关联。因此,在我们的工作中,我们将跟踪问题建模为全局图,并采用通用最大多团优化问题作为核心算法,将跨帧和跨相机数据相关性考虑在一起。此外,为了计算好的相似度分数作为我们的图模型的输入,我们提取外观和动态运动的相似性。针对外观特征,进行了ReID的局部最大出现表示(LOMO)特征提取算法。在捕获动态信息时,我们为目标的每个轨迹建立Hankel矩阵,并用迭代Hankel最小二乘(IHTLS)算法对其进行秩估计。我们对来自EPFL CVLAB的具有挑战性的Terrace序列以及最近公布的Duke MTMC数据集进行评估。
1. Introduction
回到2009年,在纽约发生严重恐怖袭击事件之后,人们解读出了更有效的方式来侦测恐怖分子。随着监控摄像机进入日常生活,政策可以通过查看电脑屏幕来监控社会安全。研究的目的是提出有用的算法和工具来支持人类检测可疑目标,识别所需目标,甚至跟踪目标。如今,随着高质量的高帧率监视摄像机的广泛使用,需要更高效的方法来产生更高的精度。
在十年内,提出了许多具有竞争性能的定义明确的探测器和跟踪器。但是,他们大部分都是专注于单镜头的情况。多摄像头场景的另一个热门话题是人物识别。通过从不同的摄像头查看同一个人的不同检测,reID算法需要提取目标的代表性特征,并在出现相同的目标时识别它。
在我们的论文中,我们正在通过采用来自reID的相关算法以及有用的控制系统工具来解决多摄像机场景的多目标跟踪问题。我们的目标是首先在线下解决这个问题,然后在可能的情况下,将其扩展到实时跟踪系统。当给定一个视频序列中的所有目标的边界框时,我们的算法形成了一个基于图论的最大派系问题,从输入的所有信息中考虑。在计算跟踪结果中选择混合二进制线性优化程序。我们在两个数据集上测试我们的算法:EPFL Terrace Sequence和DukeMTMC。我们选择这两个数据集的原因是因为前者代表摄像机之间存在重叠时的场景,而后者则表示没有重叠或只有少许重叠存在。如图1所示,该例子说明了我们如何将全局最大派系问题与多摄像机多目标跟踪问题联系起来。
2. Related Work
随着多摄像机系统跟踪问题越来越普及,新的算法被生成,并提出了新的多摄像机数据集。即使评估多相机跟踪器的性能的新方法也是有趣的话题。主要有两种类型的多摄像机系统跟踪方法。第一个是先进行单个摄像机内的信息关联,然后是多个摄像机之间进行信息关联。第二个是全局地考虑所有输入检测。这是本文采用的方法。
有几篇论文正在研究多摄像机系统多目标跟踪的全局方法。形成全局跟踪问题的一般方法是将所有输入检测视为图形。图中节点(检测)之间的边权重取决于检测结果的相似程度。为了计算准确的相似度,需要优越的特征提取算法来捕获来自检测的最具代表性的特征。在论文[3]中,作者采用了边缘权重的re-ID特征提取方法,然后应用最小割/最大流算法进行跟踪。 UCF的另一组研究员发表了[4]。在他们的论文中,他们提出了一个全局最大团优化算法(GMMCP)。他们根据通过比较直方图和由恒定速度给出的运动相似性给出的外观相似性来计算边缘权重。本文提出的基于他们以前的作品之一[10](提出了GMCP算法)。这两种算法的主要区别在于GMMCP一次性计算多个轨迹集合的代价函数。有趣的是,杜克大学的研究人员以类似的方式发表文献[9]。尽管他们使用的全球信息关联方式与[4]相同,但它们只使用检测的外观特征进行边权重计算。由于直观地将外观相似度和运动相似度结合起来,本文采用汉米尔运动IHTLS [5]和Re-ID LOMO特征[7]与GMMCP相结合的方法。
与传统的单摄像机跟踪相比,多摄像机系统跟踪问题仍然是一个非常新的话题。因此,针对多摄像头场景的新数据集和评估指标正在不断演变。而且,多摄像头数据集主要可以捕捉两种场景。其中一种类型就是多个摄像头看着同一个场景。换句话说,相机是完全重叠的。这种代表性的数据集是由EPFL CVLAB [2] [6]制作的视频序列。第二种类型的数据集是相机之间相互之间非常少或甚至不重叠。一个新提出的数据集称为Duke MTMC [8] [11]。在他们的论文中,他们提出了一个新的数据集和多摄像机跟踪评估的新方法。
5. Conclusion
该算法在两个数据集上测试:EPFL Terrance Sequence1和Duke MTMC。评估分别由标准clearMOT度量和Duke MTMC度量给出。
如结果所示,我们的算法仍然有改善跟踪精度的空间。我们的追踪器没有像现有技术一样好的原因主要有两个。首先,我们的跟踪器可能需要一个包含更复杂的运动信息的数据集来超越其他数据集。其次,可能需要一种更好的方法来拼接最终的轨迹,并合并从GMMCP算法得到的信息。因此,我们今后的工作将主要着眼于改善这两个问题。