【计算机视觉】Lecture 29：视频跟踪：均值漂移Mean-Shift
基于外观的跟踪
直方图外观模型
动机——要跟踪非刚性对象（如行走的人），指定明确的二维参数化运动模型是很难的。
非刚性物体的外观有时可以用颜色分布来建模
通过颜色直方图的外观
整体的直方图尺寸为
比如，R、G和B通道的4位编码会产生的直方图大小为161616 = 4096
更小的颜色直方图
如果我们愿意接受颜色分辨率的损失，直方图信息可以小得多。
整体的直方图尺寸为
比如，R、G和B通道的4位编码会产生的直方图大小为 3*16 = 48
颜色直方图例子
归一化的颜色
归一化颜色将像素亮度（亮度）分开，只留下色度（颜色）信息。使得产生的结果对光照/阴影引起的变化不太敏感
均值漂移Mean-Shift
mean-shift 算法是一种有效的跟踪目标的方法，该目标的外观由颜色定义。
（但不限于颜色。也可以使用边缘方向、纹理、运动）
什么是Mean-Shift？
一种工具：
在一组数据样本中寻找模式，在R^N中表明潜在的概率密度函数（PDF）
在特征空间中的PDF：
颜色空间
尺度空间
实际上，可以设想的任何特征空间
非参数化的密度梯度估计（均值漂移）
直观描述
目的：找出最稠密的区域
在颜色模型上使用均值漂移
两种方法：
1）创建一个颜色“似然”图像，像素通过与所需颜色（最适合单一颜色的对象）的相似性加权
2） 用直方图表示颜色分布。使用 mean-shift 方法查找与颜色分布最相似的区域。
在加权图像上的 Mean-shift
理想情况下，我们需要一个指示函数，对于跟踪对象上的像素，返回1；对于所有其他像素，返回0
替代性地，我们计算似然图 likelihood maps，其中像素的值与像素来自我们跟踪的对象的可能性成正比。
可能性likelihood的计算可以基于：
•颜色
•质地
•形状（边界）
•预测位置
Mean-shift 跟踪
让像素形成一个均匀的数据点网格，每个点的权重（像素值）与像素是在我们要跟踪的对象上的“可能性”成正比。
使用此加权点集执行标准 mean-shift 算法。
良好的性质
在加权图像 w 上运行核为 K 的均值漂移，相当于在由加权图像 w 与某个“阴影”核 H 卷积而成的（虚拟）图像中执行梯度上升操作。
注意：我们正在寻找的模式是位置（x，y）可能性的模式，而不是颜色分布的模式！
例子：使用 Mean -Shift 进行人脸跟踪
Gray Bradski, “Computer Vision Face Tracking for use in a Perceptual User Interface,” IEEE Workshop On Applications of Computer Vision, Princeton, NJ, 1998, pp.214-219.
Bradski 的 CamShift
mean-shift 寻找 X, Y 位置的模式。将一个椭圆拟合到mean-shift 算法找到的模式，来确定 Z 和 Roll。
CamShift 结果
CamShift 应用
在颜色模型上使用均值漂移Mean-Shift
两种方法：
1）创建一个颜色“似然”图像，像素通过与所需颜色（最适合单一颜色的对象）的相似性加权
2） 用直方图表示颜色分布。使用 mean-shift 方法查找与颜色分布最相似的区域。
Mean-Shift 目标跟踪——目标表示
Mean-Shift 目标跟踪——PDF表示
比较颜色分布
Bhattacharya 距离：
给定一个 n-bucket 模型直方图{mi | i=1，…，n}和数据直方图{di | i=1，…，n}，我们遵循Comanesciu、Ramesh和Meer*使用距离函数：
为什么用这个？
1） 它与Bayes误差概念共享最优性质
2） 它采用了度量结构
3） 它对对象大小（像素数）是恒定不变的
4） 它适用于任意分布（不只是高斯分布）
Dorin Comanesciu, V. Ramesh and Peter Meer, “Real-time Tracking of Non-Rigid Objects using Mean Shift,” IEEE Conference on Computer Vision and Pattern Recognition, Hilton Head, South Carolina, 2000 (best paper award).
掩盖（没有说明）的一些细节
引入空间核（高斯滤波，盒滤波）进行相似函数的空间平滑
对颜色进行相似性求导。这将会指明我们是需要更多还是更少的颜色来使当前直方图与参考直方图更相似。
这个的结果是我们之前使用的加权 mean shift 。但是，颜色权重现在是“动态”计算的，从一次迭代更改到下一次迭代。
Mean-Shift 目标跟踪——结果
特征空间：161616 量化RGB
目标：在第1帧上手动选择
平均 mean-shift 迭代次数：4