双目视觉(六)U-V视差

因为在自己的工作中需要剔除行驶的地面,要用到U-V视差,所以写这篇博客主要是记录自己学习到的相关内容。如果写的有问题可以在评论中指出。

目录

1.原理:

双目系统

模型推导 

各种3D平面在U-V视差中的投影 

实例 

 参考:


1.原理:

  • 双目系统

双目相机系统如下图所示:f为焦距,b为基线,P(X,Y,Z)为三维点。 我们可以得到视差的公式如下:(双目视觉系统

双目视觉(六)U-V视差

双目视觉(六)U-V视差

  • 模型推导 

首先,当我们使用双目相机拍摄真实世界时,如下图所示,(Xw ,Yw , Zw )为世界坐标系,(Xl ,Yl , Zl)为左相机坐标系,(Xr ,Yr , Zr)为右相机坐标系。 

双目视觉(六)U-V视差

  • 对于世界坐标系和左相机坐标系,存在着b/2的平移,以及一个旋转角θ
  • 对于世界坐标系和右相机坐标系,存在着b/2的平移,以及一个旋转角θ

那么,从世界坐标系到左右相机坐标的变换矩阵为:

双目视觉(六)U-V视差

 其次,我们预先通过标定知道了左右相机的内参矩阵为:

双目视觉(六)U-V视差

 当相机的内参和外参都知道了,根据针孔相机模型,就可以计算处相机的投影矩阵P=K[R|t]

双目视觉(六)U-V视差

双目视觉(六)U-V视差

使用矩阵的乘法公式对其进行展开得到: 

双目视觉(六)U-V视差

 

双目视觉(六)U-V视差

 由d=ul-ur得到视差:

双目视觉(六)U-V视差

双目视觉(六)U-V视差

  • 各种3D平面在U-V视差中的投影 

双目视觉(六)U-V视差

双目视觉(六)U-V视差

  • 实例 

1.左图像,右图像,视差图像

双目视觉(六)U-V视差

 2.U-视差,V-视差

双目视觉(六)U-V视差

3.对U-V视差图使用霍夫变换检测线

 双目视觉(六)U-V视差

①,⑤:近似直线,如图中的球体和圆锥;

②   11:地平面在V视差中的投影为直线;

⑥,⑦:侧面的墙在U视差中的投影为直线;

⑨       :垂直障碍物;

③④⑧⑩:垂直墙面的转角处;

4.3D重建的结构

双目视觉(六)U-V视差

 

 参考:

基于 U-V 视差算法的障碍物识别技术研究

A Complete U-V-Disparity Study for Stereovision Based 3D Driving Environment analysis

http://www.doc88.com/p-1823931324527.html

https://blog.****.net/chentravelling/article/details/53671279