SLAM14讲阅读笔记(5)

视觉SLAM通过相机获取周围的环境信息，将三维世界中的坐标点（单位为米）映射到二维图像平面（单位为像素），这个过程可以用一个几何模型进行描述，这个模型有很多种，最简单的就是针孔相机模型。

针孔相机模型

根据相似三角形原理得到成像平面和点P的关系

像素坐标系又不同于成像平面，像素坐标系原点位于左上角，u轴向右与x轴平行，v轴向下与y轴平行。二者之间差了一个缩放和一个原点的平移。

像素坐标与点P的关系

写成矩阵形式

矩阵K为相机的内参，其中P为相机坐标系下的点，通常将世界坐标系下的点左乘相机位姿转换到相机坐标系下

畸变模型

畸变是由于相机中加入透镜产生的，透镜自身的形状对光线传播的影响产生的畸变叫做径向畸变；透镜与成像平面的不平行引起的畸变为切向畸变。

去畸变

通常假设畸变呈多项式关系，采取以下方式进行纠正

式中包含了径向畸变和切向畸变的消除方式，将消除畸变后的点代入像素坐标计算公式中可以得到点在图像上的正确位置。

双目相机模型

双目相机由两个单目相机组成，其成像方式也是针孔相机模型，但是双目相机可以计算深度。

根据同一点在左右两个相机中像素平面上的u轴中的差距即视差，计算深度，难点在于计算机如何确定左图中某一点在右图中的位置。

RGB-D相机模型

RGB-D相机由RGB摄像头、红外发射器和红外接收器三部分组成，可通过结构光图案或者是脉冲光的飞行时间计算深度。它容易受到太阳光的影响，在室外不适合使用，对于透射材质的物体无法获得深度。

图像

在OpenCV中图像用矩阵表示，图像的行数对应着Y轴，图像的列数对应着X轴。