【视频变化检测】2017 TIP Universal Multimode Background Subtraction
2017 TIP Universal Multimode Background Subtraction
摘要：文中提出一个完整的变化检测系统，并取名为Multimode Background Subtraction。该方法可以对抗多种视频变化检测的挑战，包括光照变化，动态背景，相机抖动和运动相机。系统拥有几种创新点，体现在背景建模，模型更新，像素分类和颜色空间的运用中。系统首先创建了多个背景模型，并对每个像素对其进行了前景、背景概率估计。然后，图像像素组合为mega-piexels，这样对RGB和YCbCr两种颜色空间中的初始的概率估计进行去噪。生成的mask可以分离背景和前景，在CDnet和ESI数据集中取得了state-of-the-art的性能。
贡献：
1、对于背景减除（BS）的合适的颜色空间融合的详细分析
2、一个全新的模型更新机制
3、一个全新的基于MP空间去噪和一个动态模型选择框架，可以减少参数，提升计算速度。
创新点：
1、BS的多种颜色空间的运用
RGB是一个广泛使用的选择：a）亮度和颜色信息被均分在三个颜色空间中；b）对环境和相机噪声稳定；c）大部分的相机直出格式，避免格式转换带来的计算复杂度。
YCbCr、HSV和HSI是基于人类视觉系统（HVS）的颜色空间。这些颜色空间分为亮度和颜色信息，YCbCr为笛卡尔坐标，HSV和HSI是极坐标。虽然颜色一致性会使得BS对阴影、高亮、光照变化更为鲁棒，但不使用亮度信息会使得前景区分度不够。
通过比较，首选YCbCr，因为他对于噪声、阴影和光照变化最不敏感，其次选择RGB。
YCbCr无法处理特别黑的像素，所以在出现室内突然变黑，物体阴影出现的时候。不能过度使用YCbCr颜色空间。
作者采用，分不同的情况采用不同的颜色空间的方法。对于光照环境不好的场景，运用RGB和Y通道；对于光照良好的场景，运用YCbCr的CbCr颜色通道。在突变的光照条件下，RGB和YCbCr颜色空间互补，提供一个稳定的FG/BG分类。
2、背景模型
大多数的BG模型会采用一个多模型基于像素的统计学背景模型。这种模型有两个问题：1、非常难以决定像素概率分布函数的准确的模型数目。2、更重要的，像素间的内在联系被忽略了，将会导致不好的分割结果。
作者提出Background Model Bank，包含多个BG模型。每个训练图像背景的选定颜色空间作为一个向量，利用迭代序列聚类过程进行结合。两个背景模型的相关性测度超出预定值
这里
这种操作迭代，直到没有相关性超出
帧间聚类是由于场景几何的自然法则。错综复杂无限的场景几何，变化有可能来自于光照变化，动态变化，相机抖动，相机运动等。这些差异使得模型化场景十分困难。利用多个BG模型，可以使我们更准确的捕捉场景，并保持空间完整的依赖关系。
BMB存储多个模型，每次从帧层面，选一种，可以减少计算复杂度。
3、二值分类
分为四个步骤：a）颜色空间**/失活；b)像素级概率估计；c）MP构造；d）平均概率估计。
a）颜色空间**/失活：通过阈值选择哪些颜色通道。
b）像素级概率估计：与选定的背景模型进行比较。得出概率。
c）Mega-pixel构造
利用ERS算法（基于图论的算法）进行超像素分割，再利用DBSCAN聚类算法，得到MP。通过各个颜色通道的邻域超像素的均值的L1距离，通过阈值判断是否融合为一个MP。
d）平均概率估计和标签化
利用像素级的概率估计，计算MP的平均，利用阈值，将MP的同一区域标签为背景或前景。
4、模型更新
通过当帧的变化率来判断是否需要更新模型。变化率定义如下：
更新公式如下：
更新与输入图像相似的选定的背景。
系统
Step1：BG模型选择：选择和输入图像最大化相关的背景帧
Step2：binary maks生成：估计MP的每个像素的前景概率
Step3：二值mask融合。或操作融合同一颜色空间的不同通道；膨胀+与操作融合不同颜色空间
Step4：二值mask净化：对每个颜色空间与膨胀后的融合结果相乘。
Step5：前景mask：对每个颜色空间做逻辑或操作。
实验：
对不同的颜色空间进行测试，证明颜色空间使用的有效性。
与不同方法相比较
完整的结果
对于夜晚场景和坏天气，crcb的可分性很低。用RGB和Y通道效果好一些。
对于相机抖动和PTZ，由于背景运动，利用BMB（时间建模）达到了最好的效果。
可以看出效果达到了state-of-the-art，且对高阴影场景，在领先的方法中，达到最佳效果，即表2的最后一列。