CVPR 2018 FlowTrack:《End-to-end Flow Correlation Tracking with Spatial-temporal Attention》论文笔记

  理解出错之处望不吝指正。

  本文模型叫做FlowTrack。本文将光流信息和特征表示结合在一起进行目标跟踪,据作者所说,这是第一个在CNN based tracking中使用光流的模型。

CVPR 2018 FlowTrack:《End-to-end Flow Correlation Tracking with Spatial-temporal Attention》论文笔记

  光流的warp公式如下(p代表一个2维位置(x,y)):

    CVPR 2018 FlowTrack:《End-to-end Flow Correlation Tracking with Spatial-temporal Attention》论文笔记

    CVPR 2018 FlowTrack:《End-to-end Flow Correlation Tracking with Spatial-temporal Attention》论文笔记

  aggregation后得到的结果:

    CVPR 2018 FlowTrack:《End-to-end Flow Correlation Tracking with Spatial-temporal Attention》论文笔记

  上式中的w是一个自适应权值,由文中提出的spatial-temporal attention机制决定。

  spatial attention使用余弦相似度来计算:

    CVPR 2018 FlowTrack:《End-to-end Flow Correlation Tracking with Spatial-temporal Attention》论文笔记

  temporal attention和大多数论文中的都差不多:

    CVPR 2018 FlowTrack:《End-to-end Flow Correlation Tracking with Spatial-temporal Attention》论文笔记