基本矩阵F、本质矩阵E、单应矩阵H的关系
前言:
立体视觉几何中有以下问题:
1.已知一幅图像中一点,如何寻找另一幅图像中这个点的对应点(可用光流法、特征点匹配法)
2.已知两幅图像中两点是对应关系,如何求解两相机的相对位置和姿态【R|t】
3.已知多幅图像中同一3D点的对应点,如何求解该3D点的3D坐标
对极几何/基础矩阵 的出现可以解决问题2。
之前有总结过:https://blog.****.net/try_again_later/article/details/81638064
总结:
1 Essential Matrix
E= t ^ R 为3*3的矩阵,奇异值为 [ u, u, 0] ^ T 的形式。为本质矩阵的内在性质。
性质:理论上综合旋转、平移共有6个自由度,因尺度等价,E有5个自由度。
求解:一般使用8点法,通过SVD分解,恢复出R,t 。
2 Fundamental Matrix
基本矩阵F和E只差了一个相机内参 F = K^(-T) *E *K^(-1) ,如果需要,直接带入求解。
基础矩阵F表明一个图像点p1到另一图像上对极线L上的映射。
3 Homograph Matrix
单应矩阵的定义与R、t、平面参数相关,单应矩阵为3*3的矩阵,自由度为8,求解的思路和E、F相似。
单应矩阵表明两个点之间变换H。p2=H*p1
求解:可用一组不共线的四个匹配点来计算矩阵H。
区别:本质矩阵则是基本矩阵的一种特殊情况,是在归一化图像坐标下的基本矩阵,可以理解为本质矩阵对应的坐标位于相机坐标系,基础矩阵对应的坐标位于图像平面坐标系。
E=t^R
H=R-t*nT/d
在相机只有旋转而没有平移的情况,此时t为0,E也将为0,导致无法求解R,这时可以使用单应矩阵H求旋转,但仅有旋转,无法三角化求深度。
对极几何
在对极几何中,e1和e2被称作极点,PO1O2平面为极面,p1e1为极线,同理p2e2也为极线。这是对极几何中重要的三个概念。
极点:基线的平行线在各自像面上的消失点
A. 如图,两个相机相对放置(会聚视角), 相机1面向右边,相机2面向左边,可知极点位于1的右边,2的左边。图中花瓶上标示的横线即为平行于基线的线条。
p点在像面2上的对应点一定在极线l'上。p1--L2
这样我们就得到了两个相机上的像素坐标和基础矩阵F之间的关系了
基础矩阵F和本质矩阵E
作用:给定一个图像上的一个点,被本质矩阵或基本矩阵相乘,其结果为此点在另一个图像上的对极线,在匹配时,可以大大缩小搜索范围。像素-->极线
本质矩阵特性
1) rank (E) = 2 (本质矩阵的秩为2,非常重要)
2) 本质矩阵仅依赖外部参数(Extrinsic Parameters) (R & T)决定。
3) 使用摄像机(Camera)坐标系
基本矩阵的特性
1) rank (F) = 2 (基本矩阵的秩为2,非常重要)
2) 基本矩阵依赖内部和外部参数(Intrinsic and Extrinsic Parameters) (f, R & T)决定。
3) 使用像素坐标系