《视觉SLAM十四讲》学习笔记-光流法原理

直接法的根源

特征点法存在的问题：
- 关键点与描述子计算非常耗时；
- 忽略除特征点外的其他所有信息；
- 如何处理特征缺失的问题。

克服特征点法的几种思路：
* 保留特征点，只计算关键点，不计算描述子，用光流法跟踪特征点的运动；
* 保留特征点，只计算关键点，不计算描述子，用直接法计算特征点在下一时刻图像的位置；
* 既不计算关键点也不计算描述子，根据像素灰度的差异直接计算相机运动。

后两种为直接法.

光流法(Optical Flow)

分为两种：
- 计算部分像素运动的：稀疏光流，以Lucas-Kanade为代表。
- 计算所有像素运动的：稠密光流。

Lucas-Kanade光流原理

前提：同一个空间点的像素灰度值，在各个图像中是固定不变的(灰度不变假设).
$t$ 时刻位于 $(x, y)$ 处的像素，设 $t + d t$ 的位置为 $(x + d t, y + d t)$ ,依假设条件有：

I (x + d x, y + d y, t + d t) = I (x, y, t)

对左边进行泰勒展开，有：

I (x + d x, y + d y, t + d t) \approx I (x, y, t) + \frac{\partial I}{\partial x} d x + \frac{\partial I}{\partial y} d y + \frac{\partial I}{\partial t} d t

依据假设条件，有：

\frac{\partial I}{\partial x} d x + \frac{\partial I}{\partial y} d y + \frac{\partial I}{\partial t} d t = 0

整理得到：

\frac{\partial I}{\partial x} \frac{d x}{d t} + \frac{\partial I}{\partial y} \frac{d y}{d t} = - \frac{\partial I}{\partial t}

不妨记：

\frac{d x}{d t} = u, \frac{d y}{d t} = v, \frac{\partial I}{\partial x} = I_{x}, \frac{\partial I}{\partial y} = I_{y}

写成矩阵形式有：

[\begin{matrix} I_{x} & I_{y} \end{matrix}] [\begin{matrix} u \\ v \end{matrix}] = - I_{t}

这是一个带有两个变量的一次方程，只有一个点是无法计算

u

和

v

.
LK的做法是假设某一个窗口内的像素具有相同的运动。假设窗口大小为

w \times w

, 则有

w^{2}

个像素，所以共有

w^{2}

个方程：

{[\begin{matrix} I_{x} & I_{y} \end{matrix}]}_{k} [\begin{matrix} u \\ v \end{matrix}] = - I_{t k}, k = 1, \dots, w^{2} .

A = [\begin{matrix} [I_{x}, I_{y}]_{1} \\ ⋮ \\ [I_{x}, I_{y}]_{k} \end{matrix}], b = [\begin{matrix} I_{t 1} \\ ⋮ \\ I_{t k} \end{matrix}]

则方程可变为：

A [\begin{matrix} u \\ v \end{matrix}] = - b

这是一个超定线性方程，采用最小二乘解：

{[\begin{matrix} u \\ v \end{matrix}]}^{*} = - (A^{⊤} A)^{- 1} A^{⊤} b

即可得到 $u, v$ .

光流跟踪的特点：
- 加速基于特征点的视频里程计算法
- 需要相机运动较慢

直接法原理

设空间点 $P$ 的世界坐标为 $[X, Y, Z]$ , 它在两个相机上成像的非齐次坐标为 ${\vec{p}}_{1}, {\vec{p}}_{2}$ 。问题为计算第一个相机到第二个相机的相对位姿变换. 思路为根据当前相机的位姿估计值来寻找 ${\vec{p}}_{2}$ 的位置。

以第一个相机为相对参考系，第二个相机的旋转和平移为 $R, \vec{t}$ (李代数为 $ξ$ ). 另外两个相机的内参 $K$ 相同，所以投影方程为：

\begin{aligned} {\vec{p}}_{1} & = {[\begin{matrix} u \\ v \\ 1 \end{matrix}]}_{1} = \frac{1}{Z_{1}} K P \\ {\vec{p}}_{2} & = {[\begin{matrix} u \\ v \\ 1 \end{matrix}]}_{2} = \frac{1}{Z_{2}} K (R P + \vec{t}) = \frac{1}{Z_{2}} K (\exp (ξ^{\land}) P)_{1 : 3} \end{aligned}

其中 $Z_{1}$ 是 $P$ 的深度， $Z_{2}$ 是 $P$ 在第二个相机坐标系下的深度，也是 $R P + \vec{t}$ 的第三个坐标值。

目标是最小化光度误差:

e = I_{1} ({\vec{p}}_{1}) - I_{2} ({\vec{p}}_{2})

优化方程可写为：

min_{ξ} J (ξ) = ‖ e ‖^{2}

假设有

N

个空间点

P_{i}

, 则整个相机位姿问题为：

min_{ξ} J (ξ) = \sum_{i = 1}^{N} e_{i}^{⊤} e_{i}, e_{i} = I_{1} ({\vec{p}}_{1}, i) - I_{2} ({\vec{p}}_{2}, i)

这里的优化变量为相机位姿

ξ

.使用李代数上的扰动模型，给

\exp (ξ)

左乘一个小扰动

\exp (δ ξ)

\begin{aligned} e (ξ \oplus δ ξ) & = I_{1} (\frac{1}{Z_{1}} K P) - I_{2} (\frac{1}{Z_{2}} K \exp (δ ξ^{\land}) \exp (ξ^{\land}) P) \\ \approx I_{1} (\frac{1}{Z_{1}} K P) - I_{2} (\frac{1}{Z_{2}} K (1 + δ ξ^{\land}) \exp (ξ^{\land}) P) \\ = I_{1} (\frac{1}{Z_{1}} K P) - I_{2} (\frac{1}{Z_{2}} K \exp (ξ^{\land}) P + \frac{1}{Z_{2}} K δ ξ^{\land} \exp (ξ^{\land}) P) \end{aligned}

为简化上式，记

\begin{matrix} \vec{q} = δ ξ^{\land} \exp (ξ^{\land}) P \\ \vec{u} = \frac{1}{Z_{2}} K \vec{q} \end{matrix}

这里

\vec{q}

的含义为

P

在扰动后位于第二个相机坐标系下的坐标，而

\vec{u}

为对应的像素坐标。

对上式进行一阶泰勒展开：

\begin{aligned} e (ξ \oplus δ ξ) & = I_{1} (\frac{1}{Z_{1}} K P) - I_{2} (\frac{1}{Z_{2}} K \exp (ξ^{\land}) P + \vec{u}) \\ \approx I_{1} (\frac{1}{Z_{1}} K P) - I_{2} (\frac{1}{Z_{2}} K \exp (ξ^{\land}) P) - \frac{\partial I_{2}}{\partial \vec{u}} \frac{\partial \vec{u}}{\partial \vec{q}} \frac{\partial \vec{q}}{\partial \vec{δ ξ}} δ ξ \\ = e (ξ) - \frac{\partial I_{2}}{\partial \vec{u}} \frac{\partial \vec{u}}{\partial \vec{q}} \frac{\partial \vec{q}}{\partial \vec{δ ξ}} δ ξ \end{aligned}

上式中：
-

\frac{\partial I_{2}}{\partial \vec{u}}

为

\vec{u}

处的像素梯度
-

\frac{\partial \vec{u}}{\partial \vec{q}}

为关于相机坐标系下的三维点的导数。根据前一节介绍, 记

\vec{q} = [X, Y, Z]^{⊤}

\frac{\partial \vec{u}}{\partial \vec{q}} = [\begin{matrix} \frac{\partial \vec{u}}{\partial X} & \frac{\partial \vec{u}}{\partial Y} & \frac{\partial \vec{u}}{\partial Z} \\ \frac{\partial \vec{v}}{\partial X} & \frac{\partial \vec{v}}{\partial Y} & \frac{\partial \vec{v}}{\partial Z} \end{matrix}] = [\begin{matrix} \frac{f_{x}}{Z} & 0 & - \frac{f_{x} X}{Z^{2}} \\ 0 & \frac{f_{y}}{Z} & - \frac{f_{y} Y}{Z^{2}} \end{matrix}]

$\frac{\partial \vec{q}}{\partial \vec{δ ξ}}$ 是变换后的三维点对变换的导数，在李代数中有详细介绍：

\frac{\partial \vec{q}}{\partial \vec{δ ξ}} = [I, - {\vec{q}}^{\land}]

注意到后两项只与三维点相关，而与图像无关，所以经常把它们合在一起：

\frac{\partial \vec{u}}{\partial δ ξ} = [\begin{matrix} \frac{f_{x}}{Z} & 0 & - \frac{f_{x} X}{Z^{2}} & - \frac{f_{x} X Y}{Z^{2}} & f_{x} + \frac{f_{x} X^{2}}{Z^{2}} & - \frac{f_{x} Y}{Z} \\ 0 & \frac{f_{y}}{Z} & - \frac{f_{y} Y}{Z^{2}} & - f_{y} - \frac{f_{y} Y^{2}}{Z^{2}} & \frac{f_{y} X Y}{Z^{2}} & - \frac{f_{y} X}{Z} \end{matrix}]

所以误差相对于李代数的Jacobi矩阵为：

J = - \frac{\partial I_{2}}{\partial \vec{u}} \frac{\partial \vec{u}}{\partial δ ξ}

对于 $N$ 个点的问题，我们可以用这方法计算优化的Jacobi矩阵，然后用G-N或L-M计算增量，迭代求解。

上面的推导中, $P$ 是一个已知位置的空间点，根据来源，可以分为以下几类：
- 若来自于稀疏关键点，称为稀疏直接法
- 若来自于部分像素，称为半稠密(Semi-Dense)直接法
- 若来自于所有像素，称为稠密直接法

总结

直接法总结：
优点有：
- 省去计算特征点、描述子的时间
- 有像素梯度即可，无须特征点
- 可构建稠密或稠密的地图，是特征点无法做到的

缺点：
- 非凸性
- 单个像素没有区分度
- 灰度值不变是很强的假设

《视觉SLAM十四讲》学习笔记-光流法原理

直接法的根源

光流法(Optical Flow)

Lucas-Kanade光流原理

直接法原理

总结

相关推荐