每天一篇论文 343/365 Pyiredicting Sharp and Accurate Occlusion Boundaries in Monocular Depth Estimation

Predicting Sharp and Accurate Occlusion Boundaries in Monocular Depth Estimation Using Displacement Fields

摘要

现有的单目图像深度图预测方法倾向于预测输入图像中遮挡平滑边界、局部性差的轮廓。这是不幸的，因为遮挡边界是识别对象的重要线索，正如我们所展示的，提出从场景重建中发现新对象的方法。为了改进预测深度图，最近的方法依赖于各种形式的滤波或预测加性剩余深度图来细化第一次估计。相反，我们学习预测，给定通过某种重建方法预测的深度图，二维位移场能够将遮挡边界周围的像素重新采样为更清晰的重建。我们的方法可以以端到端可训练的方式应用于任何深度估计方法的输出。为了评估，在流行的NYUv2深度数据集的测试分割中手动标注了所有图像中的遮挡边界。我们的方法改善了所有最新的单目深度估计方法中遮挡边界的定位，而不会降低其他图像的深度精度。

贡献

在这项工作中，我们介绍了一种克服平滑遮挡边界的简单方法。该方法提高了图像的清晰度和定位精度。它依赖于一个可微模块，该模块获取由某种深度预测方法提供的初始深度图，并对其重新采样以获得更精确的遮挡边界。它还可以选择将彩色图像作为制导信息的附加输入，从而获得更好的轮廓定位。这是通过训练一个深网络来预测二维位移场，应用到初始深度图。这与以前试图通过预测深度值的残余偏移来改进深度图的方法形成对比。

方法

作者提出啊问题方法基于深度预测可以很好地推广到看不见的物体，甚至可以推广到看不见的物体类别，能够很好地重建遮挡边界可能是无监督物体发现的一条有希望的研究路线。

图2 深度图求精在三维物体提取中的应用。（a-b）和（c-d）是提取对象的两个点云视图。左栏显示从最初预测的深度图像中提取的点云，右栏显示使用我们的深度细化方法后的结果。我们的方法抑制了对象边界周围的长尾巴，因为我们获得了更清晰的遮挡边界。
数据集
为了评估现有MDE方法和我们提出的方法的遮挡边界重建性能，我们在NYUv2测试集的所有图像中手动标注遮挡边界。

两种边界预测方法
通过对深度图中的像素进行重采样，可以恢复清晰和精确定位的边界。这种重采样可以形式化为：

提高深度值的另一个选择是预测剩余深度，可以形式化为，用于比较：

优化方法优化边界预测

网络训练方法

实验

深度和边界预测