双目视觉(六)U-V视差
因为在自己的工作中需要剔除行驶的地面,要用到U-V视差,所以写这篇博客主要是记录自己学习到的相关内容。如果写的有问题可以在评论中指出。
目录
1.原理:
-
双目系统
双目相机系统如下图所示:f为焦距,b为基线,P(X,Y,Z)为三维点。 我们可以得到视差的公式如下:(双目视觉系统)
-
模型推导
首先,当我们使用双目相机拍摄真实世界时,如下图所示,(Xw ,Yw , Zw )为世界坐标系,(Xl ,Yl , Zl)为左相机坐标系,(Xr ,Yr , Zr)为右相机坐标系。
- 对于世界坐标系和左相机坐标系,存在着b/2的平移,以及一个旋转角θ
- 对于世界坐标系和右相机坐标系,存在着b/2的平移,以及一个旋转角θ
那么,从世界坐标系到左右相机坐标的变换矩阵为:
其次,我们预先通过标定知道了左右相机的内参矩阵为:
当相机的内参和外参都知道了,根据针孔相机模型,就可以计算处相机的投影矩阵P=K[R|t]
使用矩阵的乘法公式对其进行展开得到:
由d=ul-ur得到视差:
-
各种3D平面在U-V视差中的投影
-
实例
1.左图像,右图像,视差图像
2.U-视差,V-视差
3.对U-V视差图使用霍夫变换检测线
①,⑤:近似直线,如图中的球体和圆锥;
② 11:地平面在V视差中的投影为直线;
⑥,⑦:侧面的墙在U视差中的投影为直线;
⑨ :垂直障碍物;
③④⑧⑩:垂直墙面的转角处;
4.3D重建的结构
参考:
基于 U-V 视差算法的障碍物识别技术研究
A Complete U-V-Disparity Study for Stereovision Based 3D Driving Environment analysis
http://www.doc88.com/p-1823931324527.html
https://blog.****.net/chentravelling/article/details/53671279