A 3D Reconstruction with High Density and Accuracy using Laser Profiler and Camera Fusion System on

论文笔记 | A 3D Reconstruction with High Density and Accuracy using Laser Profifiler andCamera Fusion System on a Rover

论文在这儿

摘要

本文采用的硬件系统由一个全向相机和一个三维激光扫描仪组成。该方法利用全向相机与被扫描点之间的距离作为误差度量，选择合适的投影点进行跟踪，以稳定地估计运动，消除由于激光扫描仪与相机位置不同而引起的不匹配。同时，在局部运动估计的基础上，提出了一种基于多模态2D- 3D配准的全局位姿细分方法（global poses refinement method），得到的结果与二维RGB图像具有良好的一致性

传统的建模方法是将固定的激光扫描仪放置在被扫描物体的不同位置。获得的数据随后进行对齐和合并。在大数据上使用这些方法是很费力的。但是，安装在移动平台上的各种扫描系统可以帮助加快扫描过程。

移动扫描平台在合并和对齐时引入了一个运动估计问题。这篇论文提出了一种利用标定和同步的全向相机和激光扫描仪对二维全景图像和三维点云的对应关系进行三角化处理的传感器运动估计方法。我们使用投影和点跟踪来构造2D-3D对应，并且只选择投影3D点的像素构成高曲率的对。然后，我们使用三角测量法来估计摄像机的姿态。采用基于激光扫描仪到被扫描点距离的误差度量来剔除由于激光扫描仪与全方位相机位置不同而导致的2D-3D不匹配中的离群点。我们的扫描系统可以获得重建后的三维高保真点云，如图所示。

除了用三角法估计局部运动外，本篇论文还采用了互信息变形估计运动（deforming estimated motion using mutual information）的方法，证明了来自摄像机的RGB颜色与激光反射率（reflectance）之间的多模态2D-3D配准。

主要贡献：

1. 我们的校正方法是将三维点直接投影到二维图像上，只选取高曲率像素上的点，从而得到稳定的构造结果。
2. 提出了一种基于多模态配准的运动估计方法，得到了一致的投影反射率图像和二维RGB图像。
3. 考虑了由于激光扫描仪和相机位置不同而导致的不匹配，并采用基于相机到被扫描点距离的误差度量来剔除不匹配点。

硬件系统：

激光扫描仪是在轮廓模式（profiler mode）下使用的，也就是说，扫描是圆形切片，随探测器移动。为了同步数据，当扫描开始时，一个触发信号从激光扫描仪发送到相机。这两个传感器的位置使得在获得的数据上有足够的重叠区域。然后利用二维图像和三维扫描来估计激光扫描仪的运动。

1 局部相机姿态估计

利用激光扫描仪和摄像机融合系统解决了扫描过程中的运动估计问题。方法如图所示：

输入同步和校准的三维点云和二维图像序列；通过三维-二维投影、点跟踪和三角剖分计算初始运动；然后利用相互信息对运动进行优化，得到运动和校正数据。

输入是来自激光扫描仪的3D点云和来自全方位相机的2D全景图像序列。这两个传感器是校准和同步的。这些数据是在探测车前进的过程中获得的。在运动估计方法中，首先通过在二维图像上投影三维点来构造二维-三维的对应关系。然后利用KLT跟踪器对二维和三维的对应进行滤波和跟踪。然后，使用线性和非线性优化对局部相机位姿进行三角化。

1-1 坐标系

激光扫描仪和全向相机都是预先校准的。

i, j ：the index of 2D frame and 3D point

$t_i$ti​, $t_j$tj​：a time that 2D frame i is taken and 3D point j is scanned
$X^L_j$XjL​:激光扫描仪局部坐标系中点j的三维坐标

$x^j_i$xij​:3D点j的图像i上对应的2D点
我们要估计在$t_i$ti​处传感器的位置$R_i、 T_i$Ri​、Ti​。从激光扫描仪到摄像机坐标的转换如下。将$X^L_j$XjL​投影到图像上的操作描述如下。

通过位置参数$R_j, T_j可以将X^L_j转换为世界坐标X^W_j$Rj​,Tj​可以将XjL​转换为世界坐标XjW​:

$R_j, T_j通过对R_i,T_i进行线性插值得到$Rj​,Tj​通过对Ri​,Ti​进行线性插值得到。

1-2 2D-3D correspondence

为了进行2D-3D对应，将$t_i+∆t < t_j < t_i +∆t$ti​+∆t<tj​<ti​+∆t时扫描的3D点投影到2D帧i上。使用所有的投影点会导致较高的计算成本，并有包含不稳定点进行跟踪的风险。为了防止这种情况，只选择那些投影到高曲率边缘的像素上的点作为特征点。
$X^L_{(i,j)}为投影到坐标系i上作为特征点的3D点j的局部坐标，X^W_(i,j)为X^L_{(i,j)}$X(i,j)L​为投影到坐标系i上作为特征点的3D点j的局部坐标，X(W​i,j)为X(i,j)L​的全局坐标。$X^L_{(i,j)}$X(i,j)L​和$x^j_i$xij​通过投影对应；然后利用KLT跟踪器在图像序列上跟踪$x^j_i$xij​，得到$x^j_i$xij​在每一帧上的对应点。

1-3 三角化

假设已经计算了0 ~ n帧的位姿，点j(其中$t_i+t < t_j < t_i + t$ti​+t<tj​<ti​+t)与世界坐标$X^W_j$XjW​对齐。相机n+1 $R_{n+1}, T_{n+1}$Rn+1​,Tn+1​的位姿初始计算采用透视三点算法，RANSAC(与$X^W_j$XjW​、$x^j_{i+1}$xi+1j​对应);然后根据定义的对应关系构造能量函数:

表示将世界坐标中投影的3d点在当前帧n+1上的重投影误差和当前传感器位置($t_{n+1}$tn+1​处)的局部坐标中投影的3d点在之前所有帧(从0到n)上的重投影误差之和。

三角化：

当计算0到n帧时(图中只显示了n -1和n帧)，首先使用红绿点透视3点算法Perspective 3 Point algorithm计算n + 1帧的位姿。然后利用红、绿、蓝点的2D-3D对应关系，采用非线性优化方法对姿态进行优化:

1-4 Error metric for outlier rejection

当相机和激光扫描仪的中心位置出现如图5所示的间隙时，不可避免的会与3D-2D投影不匹配。这种不匹配导致错误累积到图5中的红色箭头方向。再者，由于从摄像机中心到被跟踪点和被扫描点的两个矢量之间的夹角θ较小，当两个连续摄像机位置之间的基线较短时，利用图像上的重投影误差很难消除这种对应关系。
即使相机到三维扫描点的距离与对应像素的深度相差较大，也很难消除基于角度的失配。另一方面，从n到n+1的摄像机坐标转换后的三维点必须位于深度d处跟踪像素方向的延长线上，三维坐标中的观测误差变大。因此，我们使用$d sinθ$dsinθ（见图5）作为异常值拒绝的误差度量。这个公式表示图5中由于小角度θ的红线的近似距离。

三维点与二维图像的不匹配是由传感器位置间隙引起的。错误在红色箭头方向累积

1-5 Bundle adjustment(光束平差）

采用束平差法对运动估计进行改进。能量函数是基于当3D指向所有2D帧时的重投影误差。能量函数定义为：

• All of camera poses are optimized by minimizing the reprojection errors with Levenberg-Marquard Method

2 Registration配准 by using MI

采用二维-三维对应跟踪的局部运动估计方法可以得到较好的估计结果。但是由于跟踪误差的存在，误差的积累是不可避免的。为了改进估计结果，引入了全景图像和点云之间整个区域的2D-3D配准。虽然可以通过传感器标定提取出三维点云的颜色信息，但由于全向相机的分辨率较低或$fps$fps，三维点到二维帧的投影误差是不可避免的。因此，从2D帧中提取的3D点的颜色并不能得到保证。另一方面，激光的反射率反映了激光足迹的表面物质信息。扫描的三维点坐标与反射率之间没有误差。因此，利用反射率信息进行运动估计是很有价值的。Our motion estimation method using reflectance is based on multi-modality 2D-3D registration by maximizing mutual information (MI)

2-1 Motion deformation model

首先，我们用MI描述传感器运动线在优化阶段的变形模型，注意$W = (rx, ry, rz, x, y, z)$W=(rx,ry,rz,x,y,z)表示6自由度参数。用第1节的方法计算$t$t时刻的初始位置为$W(t)$W(t)。首先，选取$t_1和t_2$t1​和t2​时刻的两帧相机$(t_1 < t_2)$(t1​<t2​)。然后对$t_1和t_2$t1​和t2​之间的截面运动进行优化。设$W(t)$W(t)为$t$t处的原始位置，$W'(t)$W′(t)为$t$t处的平移位置。通过改变最终传感器位置$W ' (t_2)$W′(t2​)的6个参数来确定平移运动W(t)。设$P(t)$P(t)为参数$(rx, ry, rz)^T或(x, y, z)^T$(rx,ry,rz)T或(x,y,z)T的向量。平移运动$P'(t)(t_1 < t < t_2)$P′(t)(t1​<t<t2​)计算为:

根据最终位置$W'(t_2)$W′(t2​)重新计算$t_1与t_2$t1​与t2​之间整个线段的运动(见图6)，利用变形后的运动$W'(t)$W′(t)计算MI。

整个扫描周期分为这一小段。虽然在增加节段数量的情况下可以进行高分辨率的运动细化，但可能没有足够的信息来配准最大化MI。通过考虑这种权衡，我们通过实验来确定段的数量（一个段的长度）。

2-2 Mutual information

为了优化运动，使用了二维RGB图像转换的灰度图像与反射率之间的MI。为了计算MI，使用了一种基于使用联合直方图的方法。将三维点云投影到二维图像帧上，计算出与三维点反射率$r$r和灰度图像像素值$f$f相结合的图像反射率直方图$H = {hrf}$H=hrf。MI用H计算如下:

2-3 Joint histogram construction

discrete unit pulse:离散单元脉冲

2-4 Area separation

用整幅图像构造联合直方图有可能由于阴影或包含过多种类的材料而没有捕捉到足够的反射率与像素值之间的相互关系。为了避免这个问题，将几个矩形窗口的高度与全景图像的高度相同，在全景图像上排成一行，如图7所示。在我们的扫描系统中，投影扫描线从左到右遍历全景图像。因此，设置小窗口是为了保证在每个窗口上投射足够的用于计算MI的3D点。MI在每个窗口中计算，计算的MI值总和用于优化。最后，利用鲍威尔法对六自由度参数进行了优化。

3 实验结果

在本文中，我们解决了局部运动估计的问题，并利用多模态配准对估计的运动进行了改进，并对我们的方法进行了验证。我们使用Z+F imager 5010作为三维激光扫描仪，Ladybug 3作为全向相机。激光扫描仪工作在轮廓模式和视野是320在一轮扫描分辨率:10000点。磁头以50Hz旋转。来自全景相机的2D图像分辨率以5400 2700的分辨率捕获。扫描后的三维数据和二维图像序列分别在线存储在激光扫描仪和连接相机的笔记本电脑的内存中。获得的数据通过一台现代PC机离线校正:Intel Core i7 @ 3.4G, 64GB内存。运动估计程序是用c++实现的。

3-1 Motion Estimation

为了评估运动估计方法的准确性，使用同一场景的静态扫描。将求值误差定义为被矫正的三维点与其最近点之间的距离。

图9 错误可视化图像和颜色条 从顶部:郑等人方法重建的误差可视化图像，用该方法重建的误差图像;颜色条指示错误值。请注意，扫描场景是相同的位置，但在不同的时间

图11显示了另外两个重建结果。这篇论文的方法可以重建三维模型，甚至在曲线的情况下。在图11的右侧场景中，如图12所示，由于柱子遮挡造成2D-3D不匹配。这篇论文的方法可以在不考虑不匹配影响的情况下，利用基于深度的误差度量来剔除离群值。

3-2 MI registration

为了计算MI，我们构造了三维点的联合直方图，其归一化反射率为0.05 ~ 0.55，灰度像素值为0.1 ~ 0.7(灰度值的上下限分别为0.0和1.0)。联合直方图中的类数分别为30。因此归一化反射率和灰度值的类间隔分别为$1.66 *10^{-2}和2.0* 10^{-2}$1.66∗10−2和2.0∗10−2。我们定义一个线段的长度约为14.5秒。这些值是通过实验确定的。图13显示了3D点的投影图像。这些像素通过3D点的反射率值着色，投影区域以条状表示，以便比较反射率图像和2D图像的边缘。从图13可以看出，随着反射率图像的边缘与具有良好一致性的二维图像边缘收敛，特别是被红色窗口包围的区域，运动得到了优化。虽然我们的配准方法在二维图像上取得了良好的一致性，但是这种优化对重建的三维图像的影响很小。这可能是由于2D-3D相机标定误差或低分辨率运动变形模型造成的。

图13 投影在3D点上的像素图像通过反射率着色。
(left) before registration, (right) after registration。结果表明，该方法能较好地反映红窗周围区域的反射率。

4 结论

这篇论文提出了传感器融合系统中的三维重建方法。该方法是针对轮廓仪三维激光扫描仪和相机融合系统而设计的，选择好的投影点进行跟踪，以稳定地估计运动，同时也考虑了激光扫描仪和相机之间传感器位置差产生的不匹配效应。我们的扫描系统可以获得高密度、高分辨率的地形三维模型。虽然改进了最大化MI的全局姿态细化，但是也证明了利用运动优化可以将3D反射图像配准到2D-RGB图像上，我们的方法将有助于其他激光扫描仪和相机融合系统（即使是那些使用廉价的1-轴激光雷达）。所获得的高密度、高精度的三维数据对于文化遗产的保存、恢复和分析具有重要的价值，利用多模态信息恢复全局优化对运动估计的精化具有重要的意义和挑战性。