基本矩阵F、本质矩阵E、单应矩阵H的关系

前言:

立体视觉几何中有以下问题:

1.已知一幅图像中一点,如何寻找另一幅图像中这个点的对应点(可用光流法、特征点匹配法)

2.已知两幅图像中两点是对应关系,如何求解两相机的相对位置和姿态【R|t】

3.已知多幅图像中同一3D点的对应点,如何求解该3D点的3D坐标

对极几何/基础矩阵 的出现可以解决问题2。

之前有总结过:https://blog.****.net/try_again_later/article/details/81638064


总结: 

      1 Essential Matrix     

             E= t ^ R 为3*3的矩阵,奇异值为 [ u, u, 0] ^ T 的形式。为本质矩阵的内在性质。

             性质:理论上综合旋转、平移共有6个自由度,因尺度等价E有5个自由度

             求解:一般使用8点法,通过SVD分解,恢复出R,t 。

     2 Fundamental Matrix

            基本矩阵F和E只差了一个相机内参    F = K^(-T) *E *K^(-1) ,如果需要,直接带入求解。

            基础矩阵F表明一个图像点p1到另一图像上对极线L上的映射。

     3 Homograph Matrix

           单应矩阵的定义与R、t、平面参数相关,单应矩阵为3*3的矩阵,自由度为8,求解的思路和E、F相似。

           单应矩阵表明两个点之间变换H。p2=H*p1

           求解:可用一组不共线的四个匹配点来计算矩阵H。

区别:本质矩阵则是基本矩阵的一种特殊情况,是在归一化图像坐标下的基本矩阵,可以理解为本质矩阵对应的坐标位于相机坐标系,基础矩阵对应的坐标位于图像平面坐标系。

E=t^R

基本矩阵F、本质矩阵E、单应矩阵H的关系

H=R-t*nT/d

在相机只有旋转而没有平移的情况,此时t为0,E也将为0,导致无法求解R,这时可以使用单应矩阵H求旋转,但仅有旋转,无法三角化求深度。


对极几何 

基本矩阵F、本质矩阵E、单应矩阵H的关系

在对极几何中,e1和e2被称作极点,PO1O2平面为极面,p1e1为极线,同理p2e2也为极线。这是对极几何中重要的三个概念。

极点:基线的平行线在各自像面上的消失点

基本矩阵F、本质矩阵E、单应矩阵H的关系

A. 如图,两个相机相对放置(会聚视角), 相机1面向右边,相机2面向左边,可知极点位于1的右边,2的左边。图中花瓶上标示的横线即为平行于基线的线条。

基本矩阵F、本质矩阵E、单应矩阵H的关系

 

p点在像面2上的对应点一定在极线l'上。p1--L2

这样我们就得到了两个相机上的像素坐标和基础矩阵F之间的关系了

基本矩阵F、本质矩阵E、单应矩阵H的关系


 基础矩阵F和本质矩阵E

作用:给定一个图像上的一个点,被本质矩阵或基本矩阵相乘,其结果为此点在另一个图像上的对极线,在匹配时,可以大大缩小搜索范围。像素-->极线

本质矩阵特性

    1) rank (E) = 2  (本质矩阵的秩为2,非常重要)

    2)  本质矩阵仅依赖外部参数(Extrinsic Parameters) (R & T)决定。

    3) 使用摄像机(Camera)坐标系

基本矩阵的特性

    1) rank (F) = 2  (基本矩阵的秩为2,非常重要)

    2)  基本矩阵依赖内部和外部参数(Intrinsic and Extrinsic Parameters) (f, R & T)决定。

    3) 使用像素坐标系

基本矩阵F、本质矩阵E、单应矩阵H的关系

 

基本矩阵F、本质矩阵E、单应矩阵H的关系

 

 单应矩阵H

基本矩阵F、本质矩阵E、单应矩阵H的关系
参考:

https://www.cnblogs.com/sunny-li/p/7500541.html

http://www.cnblogs.com/youzx/p/6385513.html