相机校参及C-arm校参 Camera calibration & X-ray calibration 03

相机校参及C-arm校参 Camera calibration & X-ray calibration 03

前文我们已经可以得到K->C坐标系中的转化了,下面我们来谈一下:

由C->S坐标系的转换(intrinsics)

首先要清楚一点,传感器sensor的零像素点和图像的XH中心点肯定是不重合的【fig0】,如图所示,如果两个中心点重合,会损失至少1/3的信息。所以才需要在图像坐标系的基础上,做一定的平移,而移动是以XH为基准的, 下文如果再看到大些X的标志应该同样理解为坐标系中的点。(XH = [xH,yH])
相机校参及C-arm校参 Camera calibration & X-ray calibration 03

另外在这个转化过程中,还存在其他的线性变化,比如

  • scale difference, noted m
  • sheer difference, noted s
    (geometry demostration can refer to the first essay of this series)

所以综上所属,最终线性变化的表达矩阵可以概括为下面的形式【fig1】:(后面有设计一篇DLT的章节,其实就是线性矩阵inverse的过程)
相机校参及C-arm校参 Camera calibration & X-ray calibration 03

由S(L)->S (NL)坐标系的转换(intrinsics)

因为lens内部的缺陷,或是sensor的缺陷比如平面性的原因,sensor上的图像(先这样表示)会有非线性的变形。这些变形的量是非线性的。比如说:barrel distortion,随着像素由中心到四个角,图像的变形会越来越严重。所以这些非线性变形的量和像素的位置有关系。【fig2】【fig3】可以看到x,y的值随q1,q2,和r(位置关系)变化。
相机校参及C-arm校参 Camera calibration & X-ray calibration 03
相机校参及C-arm校参 Camera calibration & X-ray calibration 03

mapping的逆运算 1st step

刚才说到S(L)->S (NL)的运算中,含有像素的位置关系的变量【fig4】,但是这些位置关系我们无法获得,所以只能通过iteration的形式求解出来。如果整个homogeneous transformational matrix不是random的,求解收敛的过程应该是快的。
相机校参及C-arm校参 Camera calibration & X-ray calibration 03

mapping的逆运算 2nd step

第二个过程就是一个线性过程。也是DLT求解的过程。但是我们必须知道,正如前文提到,3D到2D一定会有information loss,所以我们要求的是2D图像上点到3D上点的方向(direction of ray)和点与点的距离;而无法直线生成3D图形。这个过程我们通过下面的矩阵就可以完成。【fig5】
相机校参及C-arm校参 Camera calibration & X-ray calibration 03

通过求解的难度我们也可以将相机分为不同的类型。【fig6】【fig7】比如unit camera我们可以看到相机到投影面的distant constant恒等于1,且传感器的中心和图形中心重合,没有非线性和线性的偏移。

相机校参及C-arm校参 Camera calibration & X-ray calibration 03
相机校参及C-arm校参 Camera calibration & X-ray calibration 03