系统实现

本文为****原创文章，转载请注明出处
本文为****原创文章，转载请注明出处
本文为****原创文章，转载请注明出处

邮箱：[email protected] 作者：Y.W.jian

考虑拼接速度以及拼接质量，默认选择ORB算法进行特征点提取，选择柱面投影进行图像投影变换，选择图割法进行最大流检测，渐入渐出法进行融合。根据实际场景出现的效果再做相应的方法调整。

流程图

系统流程图如下

程序流程图如下

小场景下的视频拼接与目标跟踪

输入图像的分辨率为1280*760，每帧的融合时间为0.04_{0.06S，平均帧率为16FPS，画面清晰度比较高，拼接质量很完美，但是物体穿过缝合线时，由于更新背景模板导致帧率大幅度降低，帧率为2}3FPS，很大程度的影响了拼接的效果。

小场景下的视频拼接（输入分辨率为1280*760）

当输入的图像分辨率为640320时，每帧的融合时间为0.025_{0.04S，平均帧率为28FPS，所拼接出来的图像分辨率较低，难以看清图像的细节，但是速度大幅度提升，可以达到实时的目的。但是当检测到运动物体穿过重叠区域时，帧率将下降到4}5FPS。

小场景下的视频拼接（输入分辨率为640320）

对于小场景下的视频拼接技术，由于小场景下图像信息量较少，将会一定程度的加快图像的处理速度，大大的加快了融合速度，对于视频拼接的平均帧率提升明显，但是对于运动物体穿过缝合线导致的鬼影较为明显。通过本文中提出的检测运动物体更新缝合线来解决鬼影的方案，牺牲了较大的帧率，在运动物体出现在重叠区域时，将会耗费大量的计算机资源。

对于小场景下拼接好的视频图像进行目标跟踪，采用基于HOG特征的KCF算法，在图像输入分辨率为1280*760的情况下，效果如下

虽然小场景下包含的图像信息比较少，但是进行目标跟踪时，选定的目标框中所占用的图像信息比较多，通过样本训练滤波器时得到的滤波器将会更加准确，对后续帧的目标跟踪位置的计算自然会更加精确。

通过对拼接图像中的目标进行跟踪，可以得到，对于小场景下的目标跟踪，效果比较好，出现跟丢的概率比较低。

大场景下的视频拼接与目标跟踪

大场景下，图像信息较多，细节较多，计算机将采集到的图像进行处理时，速度将会受到一定程度的影响。

对于图像的输入分辨率而言，倘若图像输入分辨率低，则图像中的重要信息所占的像素点较少，以至于无法看清重要信息。因此，通过提高分辨率，降低处理速度，来获得质量相对较好的拼接图像。

对于1280*760的输入图像，图像融合的速度介于0.08_{0.10S之间，帧率介于10}12FPS。而对于缝合线的更新，在大场景下，一方面，对选定的运动检测区域进行直方图统计和对比时，所选的区域远大于大场景下的运动目标，导致对直方图的影响并不大；另一方面，由于重叠区域内运动物体所占的像素点较少，穿过缝合线时，基本看不出明显的鬼影，而是自然的过渡。所以视频拼接在大场景下拼接质量较高，拼接速度有所减缓。

由于大场景的原因，对固定的两个USB摄像头，可以免去运动物体检测以及拼接模板更新这一步骤，这样将会是整个视频拼接更加流畅，提高其平均速度。

对于不固定的两个摄像头，需要选择运动物体检测，通过移动两个摄像头，改变其相对位置，自动或者通过控制台手动进行模板更新。

下图为实际应用

大场景下的视频拼接

对于大场景下的目标跟踪，虽然图像信息较多，但是选定的跟踪目标所占的像素比例较少，效果将会有一定程度的降低。利用基于HOG特征的KCF算法对大场景下拼接好视频的图像帧进行运动目标跟踪，效果如下图，

在大场景下，对拼接视频中运动的目标进行目标跟踪时，效果与小场景相比，相对较差，跟踪目标框中信息较少导致训练的滤波器不够准确，并且容易受到周围环境的干扰。但是对于基于HOG特征的KCF算法在视频拼接应用，总体效果还是比较好的。

实时性的可行性分析

本实验采用的是双路USB摄像头进行实时采集，其采集速率只有25-30FPS，严重影响程序的处理速度，所以如果采用高速摄像头，则可以大为提升实时性。

于是，考虑用已经采集好的视频序列进行输入，替代摄像头的实时采集，在视频拼接和目标跟踪同时进行的情况下，可以达到23FPS，近似满足于实时性条件。效果如下，

而如果只是单纯的进行视频拼接，显然能够提升拼接速度。

况且实验采用的是联想Z410笔记本电脑，未采用GPU加速，因此，速度提升的方法还有很多。

下面给出demo下载地址
https://download.****.net/download/qq_28901541/10747926
或者直接去我的下载资源下寻找该资源连接

其中只给了demo，附带了使用说明，只有release版本，由于一些原因，暂不考虑给出具体代码，望各位谅解。
倘若确实需要源码，可邮箱联系。

本文为****原创文章，转载请注明出处