深度学习之目标跟踪
一. 跟踪进展（Advances in Visual Tracking）
作者在前面的机器学习文章中也讲到了 Tracking，感兴趣的童鞋可以 Review一下：机器学习实践系列之5 - 目标跟踪
前面只是基于传统方法的跟踪，这一篇我们 Focus 在深度学习上。
关注跟踪算法的进展，只需要 Follow VOT Challenge 就可以了，Visual Object Tracking大餐全在这里咯。闲话少说，上图（盗用了 mengmeng wang ppt上的图）：
二. 引入CNN
CNN在分类、检测领域火的一塌糊涂的时候，目标跟踪貌似并未找到感觉，原因是显而易见的：
1）由于跟踪的特殊性，无法有效区分正负样本，只有当前跟踪的目标是正样本，其余Crop均为副样本，下一个时候可能又会不同，这种特殊性导致很难训练；
2）跟踪需要在一个视频序列中变化，而这种变化又存在依赖和位置关系等信息，很难转换成一个分类问题；
虽然如此，但人们相信 深度学习必然能解决 Tracking的问题，而大量数据也应该在 Tracking 领域发挥其价值。
三. Multi-Domain Network (MDNet)
这是一篇经典文献，提出一个 共享层（Shared Layers） + 多目标分支网络（Domain-specific Layers） 来实现目标跟踪。
论文下载：Learning Multi-Domain Convolutional Neural Networks for Visual Tracking
MD-Net 实现的跟踪，实际上是 通过在上一帧目标周围进行Candidate采样，通过对候选目标分类，得到概率最大的一个作为目标，其实就是 Tracking by classification的思路。Multi-Domain 体现在训练过程，提高了共享部分的特征提取能力。
剖析一下网络组成：
1）Input
网络输入是 107*107 的RGB图像（采集的Candidate）。
2）Shared Layers
共享层包含3个卷积层+2个全连接层，共享层输出为 512 channel 的 Feature。
3）Domain-Specific Layers
上图 FC6对应一个二分类的全连接层，通过 Softmax Crossentropy Loss 区分目标和背景。
对应K个分支（即K个不同的视频），每次训练使用对应该视频的 一个分支。
● 训练过程：
1. 对整个NetWork，训练N次（文中N=100）
1.1 对于每个 Branch网络 k( k=1...K )，do：
训练一个 mini-batch， 选择32个正样本 和 96个负样本（负样本从1024个负样本中hard select得到），
PS：网络很简单，借助多个分支，在对应多个视频数据集上交叉训练。
● 跟踪过程：
1. 对应每个待跟踪目标，建立一个 FC6 全连接层（记为 FC6-k，每个FC6 负责一个目标，前面网络多个目标共享）；
1.1. 对于输入每一帧图像，在该目标位置附近采样256个 Box 作为Candidates；
1.2. 所有Candidate 归一化到 107*107尺寸，输入到训练好的 MD-Net 网络（shared + FC6-k）；
1.3. 网络输出是一个二维的向量（Box ID，目标概率），最终目标是概率值最高的Box；
2. 每隔一段时间，根据得到的正负样本（置信度较高的），进行网络更新；
MDNet 的特点概括为：
1）引入CNN，通过分类实现跟踪；
2）通过在线 Fine-Tune来提升效果，有效应对目标形变；
3）采用 Hard negative mining 得到高质量的负样本；
4）Bounding box regression 策略，通过回归使得结果更加精确；
四. 公共数据集
Object Tracking Benchmark