CV中opticalFlow(与MV的区别)/stitcher/pyramid(高斯金字塔 拉普拉斯金字塔 双线性金字塔)

以下都是知乎和****上讲解比较详细的文章

1.opticalFlow

光流估计——从传统方法到深度学习

光流反映了是每个像素的运动状况

MV是以块为单位的运动情况,

在视频编码过程中,动作矢量的空间分辨率得到了大幅度的减少(即16x),而对动作识别非常重要的精细动作永久的丢失

 

但是光流的计算量比较大 目前有通过 MV/I帧图像/残差和CNN卷积神经网络学习来计算光流的算法 计算量比传统光流小两个数量级

有个DMC-Net的系统,包括发生器和分类器,号称它的精度接近于使用流的精度,在推理时比使用光流快两个数量级。可参考

DMC-Net

 

2.stitcher(图像拼接)

计算机视觉方向简介 | 图像拼接

一共有4个步骤

a.Feature Extraction 特征提取 

b.Image Registration图像配准

c.wraping 图像变形

d.Blending 图像融合

 

硬件只实现了 Blending,图像配准通过各个CAM摄像头的角度来保证。采用α/β融合的方式。α、β参数可DDR读取也可根据配置在线计算

CV中opticalFlow(与MV的区别)/stitcher/pyramid(高斯金字塔 拉普拉斯金字塔 双线性金字塔)

 

3.pyrimid

(二十六)图像金字塔----高斯和拉普拉斯

OpenCV图像金字塔:高斯金字塔、拉普拉斯金字塔总结

硬件上只有双线性和高斯两种 downscale使用了两种方法 upscale只用了双线性