CVPR 2018 FlowTrack:《End-to-end Flow Correlation Tracking with Spatial-temporal Attention》论文笔记
理解出错之处望不吝指正。
本文模型叫做FlowTrack。本文将光流信息和特征表示结合在一起进行目标跟踪,据作者所说,这是第一个在CNN based tracking中使用光流的模型。
光流的warp公式如下(p代表一个2维位置(x,y)):
aggregation后得到的结果:
上式中的w是一个自适应权值,由文中提出的spatial-temporal attention机制决定。
spatial attention使用余弦相似度来计算:
temporal attention和大多数论文中的都差不多: