3D【17】深度信息增强：Real-time Shading-based Refinement for Consumer Depth Cameras

该论文的目的是增强RGBD中的深度信息。利用的是shading-based方法，大体过程是通过光照模型渲染出深度图的亮度图，然后与真实RGB图片的亮度进行各种比较（梯度啊，亮度差啊之类的）。因为光照渲染是与3d点的法向量有关，而法向量又与RGBD图片中的深度信息有关，上面说的各种比较就能够将误差传播到3D点的法向量，最后传播到深度信息。这样就完成了深度信息的增强。
论文的效果很吊，可惜没有开源。这里只能记录一下理论相关的东西。
那么，既然是shading-based我们就需要先进行光照估计。

光照估计

论文使用的是2阶球面谐波光照模型：

其中，i、j是像素坐标，k(i,j)$k(i,j)$ 是反射率。lk$l_k$ 是2阶球面谐波的第k个系数（总共9个），Hk(n),n=(nx,ny,nz)$H_k(n),n=(n_x,n_y,n_z)$ 是2阶球面谐波方程，n是3D点的法向量。
2阶球面谐波的9个方程计算公式如下：

由于是对RGBD图片进行增强，因此我们已经预先知道了每个3D点的xyz坐标，也就知道了其对应的法向量。同时，先忽略反射率系数，那么现在需要求的就只有光照系数lk$l_k$。光照系数的求解只要最小化以下函数就可：

其中，I(i,j)$I(i,j)$ 是RGB图片在i、j位置的亮度值。而最优化上面这个式子等同于解决一个线性方程组：

那么光照系数可以用下式求解：

作者为了使求解的光照系数更具有稳定性，加入一个约束项：λL(l−lp)${\lambda }_L(l-l^p)$。意思是要求当前帧的光照系数要尽量与前一帧的光照系数（lp$l^p$）变化不要太大。这样就等于要解下面的线性方程：

其中MI$M_I$ 是一个9*9的单位矩阵，感觉上面式子有点错误，应该是在MI$M_I$ 后面少乘了个l$l$。

求解出光照系数后，就可以求解反射率k(i,j)$k(i,j)$了：
直接将RGB图片的亮度I(i,j)$I(i,j)$ 除于 ∑8k=0lkHk(n(i,j))$\sum _{k=0}^8{l}_k{H}_k(n(i,j))$就ok了。

深度图增强

利用 Gauss-Newton，最小化下式就可以获取增强后的深度图D∗$D^{\ast }$：

其中D是深度图，Eg$E_g$ 是梯度约束，Es$E_s$是平衡约束，Ep$E_p$是深度约束，Er$E_r$是时间尺度上的平滑约束。具体的：

上面式子中，p(i,j)$p(i,j)$表示3D点，可以通过深度图D计算得到：

其实就是RGBD转点云的计算公式。ux,uy$u_x,u_y$是RGBD图片的中心点，fx,fy$f_x,f_y$是相机焦距。

而法向量计算公式为：

在Er$E_r$中，np$n_p$是前一帧增强后的法向量，c(i,j)是当前帧i，j位置点与前一帧的对应点，可以利用ICP计算得到。

论文还对Eg$E_g$进行了改进，以及 Gauss-Newton的优化等。

实验结果

项目主页：http://gvv.mpi-inf.mpg.de/projects/RealTimeSFS/
分别是rgb图片，设备获取的初始点云，增强后的点云。