Tracking算法

追踪新的frame，优化相对3D位姿$\xi_{ji}\in \mathcal{se}(3)$ξji​∈se(3). $i$i 是关键帧，$j$j是新的图片。

深度图估计

选择关键帧

准则：当前帧和关键帧的$\xi_{ji}$ξji​超过一定阈值。

深度图初始化

由前一帧的映射得到

深度滤波器

深度计算的步骤

1. 计算参考帧中的极线。存在几何误差：由位姿与相机参数引起的极线偏移造成，简化为方向不变而只改变位置。
2. 确定极线上的最佳匹配。存在光度误差（光度不一定相等）
3. 计算深度

深度观测融合

逆深度服从高斯分布，需要将多次观测的逆深度值进行融合，使用卡尔曼滤波。

深度传播

将深度由一帧传递到下一帧时，忽略相机旋转：

关键帧对准

归一化：逆深度图的均值为1。用3D相似变换$\mathbf{S} \in\text{Sim}(3)$S∈Sim(3)来表示两个关键帧之间的转换。
$\mathbf{S} = \left( \begin{array}{cc} s\mathbf{R} & \mathbf{t}\\ \mathbf{0} & 1\\ \end{array} \right)$S=(sR0​t1​)

估计关键帧间的转换

增加收敛半径：金字塔 coarse-to-fine

回环检测

appearance-based mapping algorithm + reciprocal tracking check.

后端图优化