视频分析（一）：Meanshift均值漂移和Camshift算法来查找和跟踪视频中的对象

目标

在这一章当中，

• 我们将学习Meanshift和Camshift算法来查找和跟踪视频中的对象。

均值漂移

手段背后的直觉很简单。考虑你有一组点。（它可以是像直方图反投影的像素分布）。您会看到一个小窗口（可能是一个圆圈），您必须将该窗口移动到最大像素密度（或最大点数）区域。它在下面给出的简单图像中进行了说明：

初始窗口以蓝色圆圈显示，名称为“C1”。其原始中心标记为蓝色矩形，名为“C1_o”。但是如果你发现窗口内的点的质心，你将得到点“C1_r”（用小蓝圈标记），这是窗口的真实质心。当然，他们不匹配。所以移动你的窗口，使新窗口的圆与先前质心相匹配。再次找到新的质心。最有可能的是，它不会匹配。因此，再次移动它，并继续迭代，以使窗口的中心和质心落在相同的位置（或具有小的期望误差）。所以最后你得到的是一个最大像素分布的窗口。它标有绿色圆圈，名为“C2”。正如你在图片中看到的那样，它有最多的点数。整个过程在下面的静态图像中演示：

所以我们通常会通过直方图反投影图像和初始目标位置。当物体移动时，显然该运动反映在直方图反投影图像中。结果，meanshift算法将我们的窗口移动到最大密度的新位置。

均值漂移在OpenCV中

要在OpenCV中使用meanshift，首先我们需要设置目标，找到它的直方图，以便我们可以在每个帧上反向投影目标以计算meanshift。我们还需要提供窗口的初始位置。对于直方图，这里仅考虑Hue。另外，为了避免因光线过低造成的错误值，使用cv2.inRange（）函数丢弃低光照值。

import numpy as np
import cv2

cap = cv2.VideoCapture('slow.flv')

# take first frame of the video
ret,frame = cap.read()

# setup initial location of window
r,h,c,w = 250,90,400,125  # simply hardcoded the values
track_window = (c,r,w,h)

# set up the ROI for tracking
roi = frame[r:r+h, c:c+w]
hsv_roi =  cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)

# Setup the termination criteria, either 10 iteration or move by atleast 1 pt
term_crit = ( cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1 )

while(1):
    ret ,frame = cap.read()

    if ret == True:
        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
        dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)

        # apply meanshift to get the new location
        ret, track_window = cv2.meanShift(dst, track_window, term_crit)

        # Draw it on image
        x,y,w,h = track_window
        img2 = cv2.rectangle(frame, (x,y), (x+w,y+h), 255,2)
        cv2.imshow('img2',img2)

        k = cv2.waitKey(60) & 0xff
        if k == 27:
            break
        else:
            cv2.imwrite(chr(k)+".jpg",img2)

    else:
        break

cv2.destroyAllWindows()
cap.release()

我使用的视频中的三个框架如下所示：

CAMSHIFT 

你有没有密切关注最后的结果？有一个问题。当车离较远并且距离相机非常近时，我们的窗户总是具有相同的尺寸。这是不好的。我们需要根据目标的大小和旋转来调整窗口大小。该解决方案再次来自“OpenCV实验室”，它在1988年由Gary Bradsky在他的论文“用于感知用户界面的计算机视觉人脸跟踪”中发表，它被称为CAMshift（连续自适应Meanshift）。

它首先应用手段。一旦meanshift收敛，它将窗口的大小更新为。它还计算最适合椭圆的方向。同样，它将新的缩放搜索窗口和前一个窗口位置应用于meanshift。该过程持续直到达到所需的准确度。

CAMSHIFT在OpenCV中

它与meanshift几乎相同，但它返回一个旋转的矩形（即我们的结果）和框参数（用于在下一次迭代中作为搜索窗口传递）。请参阅下面的代码：

import numpy as np
import cv2

cap = cv2.VideoCapture('slow.flv')

# take first frame of the video
ret,frame = cap.read()

# setup initial location of window
r,h,c,w = 250,90,400,125  # simply hardcoded the values
track_window = (c,r,w,h)

# set up the ROI for tracking
roi = frame[r:r+h, c:c+w]
hsv_roi =  cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)

# Setup the termination criteria, either 10 iteration or move by atleast 1 pt
term_crit = ( cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1 )

while(1):
    ret ,frame = cap.read()

    if ret == True:
        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
        dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)

        # apply meanshift to get the new location
        ret, track_window = cv2.CamShift(dst, track_window, term_crit)

        # Draw it on image
        pts = cv2.boxPoints(ret)
        pts = np.int0(pts)
        img2 = cv2.polylines(frame,[pts],True, 255,2)
        cv2.imshow('img2',img2)

        k = cv2.waitKey(60) & 0xff
        if k == 27:
            break
        else:
            cv2.imwrite(chr(k)+".jpg",img2)

    else:
        break

cv2.destroyAllWindows()
cap.release()

结果的三个框架如下所示：

其他资源

1. 法语维基百科页面上Camshift。（这两个动画是从这里获取的）
2. Bradski，GR，“作为知觉用户界面的组成部分的实时人脸和对象跟踪”，计算机视觉应用1998，WACV'98。Proceedings。，Fourth IEEE Workshop on，vol.no.，pp.214,219，1998年10月19 - 21日

参考：

http://opencv-python-tutroals.readthedocs.io/en/latest/py_tutorials/py_video/py_meanshift/py_meanshift.html