计算机视觉原理(3--图像特征提取与运动估计)

一、角点检测


Harris算子原理:

  • 在灰度变化平缓区域,窗口内像素灰度积分近似保持不变
  • 在边缘区域,边缘方向:灰度积分近似不变,其余任意方向:剧烈变化;
  • 在角点处,任意方向均剧烈变化计算机视觉原理(3--图像特征提取与运动估计)
定义灰度积分变化:
 
计算机视觉原理(3--图像特征提取与运动估计)
计算机视觉原理(3--图像特征提取与运动估计)
      令 E(u,v)= 常值,则前面方程表示一个椭圆
 

计算机视觉原理(3--图像特征提取与运动估计)

计算机视觉原理(3--图像特征提取与运动估计)计算机视觉原理(3--图像特征提取与运动估计)
 
 
 
使用角点响应函数:
计算机视觉原理(3--图像特征提取与运动估计)
  • R接近于零时,处于灰度变化平缓区域;
  • R<0时,点为边界像素;
  • R>0时,点为角点。
计算机视觉原理(3--图像特征提取与运动估计)
 
 

二、背景建模

相对运动的基本方式:
  • 相机静止,目标运动——背景提取(减除)
  • 相机运动,目标静止——光流估计(全局运动)
  • 相机和目标均运动——光流估计
 

帧差法运动目标检测

计算机视觉原理(3--图像特征提取与运动估计)

  • D(x, y): 帧差
  • I(x,y,t): 当前帧(t时刻)图像
  • I(x,y,t): 上一帧(t-1时刻)图像
  • T: 像素灰度差阈值

高斯背景

像素灰度值随时间变化符合高斯分布

计算机视觉原理(3--图像特征提取与运动估计)
 
 
 
计算机视觉原理(3--图像特征提取与运动估计)

 


混合高斯模型 :

任何一种分布都可以看做是多个高斯分布的组合
 
计算机视觉原理(3--图像特征提取与运动估计)
 
 
 
计算机视觉原理(3--图像特征提取与运动估计)
 
 
像素灰度(随时间)的概率密度函数:
 
计算机视觉原理(3--图像特征提取与运动估计)

混合高斯背景建模步骤:

  • 模型初始化 将采到的第一帧图像的每个象素的灰度值作为 均值,再赋以较大的方差。初值Q=1, w=1.0。
  • 模型学习 将当前帧的对应点象素的灰度值与已有的Q个高斯模型作比较,若满足计算机视觉原理(3--图像特征提取与运动估计) ,则按上页方式调整 第q个高斯模型的参数和权重;否则转入(3):
  • 增加/替换高斯分量 若不满足条件,且q<Q,则增加一个新 分量;若q=Q,则替换
  • 判断背景:

         计算机视觉原理(3--图像特征提取与运动估计)

  • 判断前景

混合高斯模型迭代计算原理:

迭代计算:

    计算机视觉原理(3--图像特征提取与运动估计)

  • Mq(k)为二值化函数,仅当像素值匹配第q类时取1, 其余为0
  • 类别数取值不大于5

背景建模处理实例 :

计算机视觉原理(3--图像特征提取与运动估计)


三、光流估计

恒定亮度假设(BCM)
 
计算机视觉原理(3--图像特征提取与运动估计)
 
计算机视觉原理(3--图像特征提取与运动估计)

光流估计基本模型:

计算机视觉原理(3--图像特征提取与运动估计)
 
  • 任务:求          

                ​​​​​​​计算机视觉原理(3--图像特征提取与运动估计)

  • 难点: 1 个方程, 2 个未知数

Lucas-Kanade方法

一个小方格里的所有像素位移相同
计算机视觉原理(3--图像特征提取与运动估计)
 
 
计算机视觉原理(3--图像特征提取与运动估计)                                      计算机视觉原理(3--图像特征提取与运动估计)
 
  • 最优化问题(超定方程求解)
               计算机视觉原理(3--图像特征提取与运动估计)
 
  • 最小二乘解:
             计算机视觉原理(3--图像特征提取与运动估计)
 
  • 区域像素只有2个时,就是2元1次方程组求解! 多个像素,比如3*3时,则是求上述最小二乘解
       计算机视觉原理(3--图像特征提取与运动估计)
 
  • 可信度判断:矩阵求逆是否能实现?
计算机视觉原理(3--图像特征提取与运动估计)

 

 
 
 
 
  • 边缘(对比Harris算子)

​​​​​​​计算机视觉原理(3--图像特征提取与运动估计)计算机视觉原理(3--图像特征提取与运动估计)

  • 沿某一方向灰度剧烈变化
  • 计算机视觉原理(3--图像特征提取与运动估计)

 

 

  • 低纹理区域(对比Harris算子)

计算机视觉原理(3--图像特征提取与运动估计)计算机视觉原理(3--图像特征提取与运动估计)
 
 
  • 计算机视觉原理(3--图像特征提取与运动估计)
 
 
 
 

光流估计示例

计算机视觉原理(3--图像特征提取与运动估计)

 
计算机视觉原理(3--图像特征提取与运动估计)