CV中opticalFlow(与MV的区别)/stitcher/pyramid(高斯金字塔 拉普拉斯金字塔 双线性金字塔)
以下都是知乎和****上讲解比较详细的文章
1.opticalFlow
光流反映了是每个像素的运动状况
MV是以块为单位的运动情况,
在视频编码过程中,动作矢量的空间分辨率得到了大幅度的减少(即16x),而对动作识别非常重要的精细动作永久的丢失
但是光流的计算量比较大 目前有通过 MV/I帧图像/残差和CNN卷积神经网络学习来计算光流的算法 计算量比传统光流小两个数量级
有个DMC-Net的系统,包括发生器和分类器,号称它的精度接近于使用流的精度,在推理时比使用光流快两个数量级。可参考
2.stitcher(图像拼接)
一共有4个步骤
a.Feature Extraction 特征提取
b.Image Registration图像配准
c.wraping 图像变形
d.Blending 图像融合
硬件只实现了 Blending,图像配准通过各个CAM摄像头的角度来保证。采用α/β融合的方式。α、β参数可DDR读取也可根据配置在线计算
3.pyrimid
硬件上只有双线性和高斯两种 downscale使用了两种方法 upscale只用了双线性