Tracking objects outside the line of sight using 2D intensity images 论文翻译

Tracking objects outside the line of sight using 2D intensity images

在各种各样的重要应用中，对位于不可访问区域的物体的观察是一个反复出现的挑战。 最近的工作表明，使用稀有且昂贵的光学装置，间接漫射光反射可用于重建拐角处的对象和二维（2D）图案。 在这里，我们显示可以使用简单得多的方法（即标准2D摄像机和激光指示器）实时跟踪被遮挡的对象。 从综合分析的角度解决问题，我们的方法与先前的解决方案根本不同。 通过反复模拟穿过场景的光传输，我们确定最接近所测强度分布的一组对象参数。 我们通过实验证明了这种方法能够实时跟踪未知对象的平移以及已知对象的平移和定向。
数字图像传感器的广泛使用以及先进的计算方法催生了新的成像技术，可实现看似不可能的任务。 一个特别引人入胜的结果是使用超快的飞行时间测量1,2，以对视线3-6以外的物体成像。 能够像镜子一样使用任意壁，可以在许多可见性有限的传感场景中提供关键优势，例如内窥镜成像，汽车安全，工业检查和搜救行动。
在提出的用于对被遮挡的物体进行成像的技术中，有些要求对结构化7光源或窄带8-10光源直接可见。 其他人则使用电磁频谱中的封堵器是透明的替代区域11-13。 我们采用更具挑战性的假设，即该物体既不在光源也不在相机的直接视线内（图1），并且只能通过漫射墙间接照明或观察3-6,14。 所有观察到的光都经历了至少三个漫反射（墙，物体，墙），重建未知物体是一个不适定的逆问题。 迄今为止，报告的大多数解决方案方法都使用像计算机断层扫描一样的反投影方案15，在这种方案中，成像仪进行的每个强度测量都对可能的散射位置进行投票。 这种显式的重建方案在计算上是有效的，原则上具有实时能力6，并且可以使用问题特定的过滤器3、16进行扩展。 然而，它假设超快时间分辨的光脉冲响应的可用性，其捕获仍然构成重大的技术挑战。 文献中提出的技术包括基于全息术的直接时间采样1、17、18，条纹成像器2，门控图像增强器5，串行时间编码放大显微镜19，单光子雪崩二极管20，以及使用多频锁定测量的间接计算方法21-23 。 相反，隐式方法以特定于问题的成本函数来表示重构任务，该函数测量场景假设与观察到的数据和其他模型先验的一致性。 问题的解决方案定义为使成本最小化的函数参数。 在迄今为止所报道的唯一此类方法中，作者用计算上稀疏的先验性对最小二乘数据项进行了正则化，这使得无需超快光源和检测器即可重建拐角处的未知物体。

figure1. 跟踪拐角处的对象。 （a）我们的实验装置遵循先前工作中报告的最常见的安排，只是它不使用飞行时间技术。 照相机观察白墙的一部分。 相机视场右侧的准直激光器照亮了一个点，该点将光反射到未知物体上。 摄像机观察到的光分布是三个漫射光反弹（墙-物体-墙）加上环境影响的结果。 （b）单个表面元素的三反射的几何形状。 （c）我们的跟踪算法流程图。 给定对象的形状，位置和方向（“场景假设”），我们将模拟光传输以预测该对象将在墙上产生的分布。 通过将这种分布与相机实际观察到的分布进行比较，并细化参数以最大程度地减少差异，可以估算出物体的运动。
在这里，我们介绍了一种隐式技术，用于实时检测和跟踪视线之外的物体。 使用常规可用的硬件（2D摄像机，激光指示器）进行成像，然后，回射到墙壁上的间接光的分布将成为我们的主要信息来源。 这种光经历了多次反射。 因此，所观察到的强度分布在空间细节上较低。 我们的方法结合了用于三反射间接光传输的模拟器和简化的重建任务[6,16]。 我们不是要重建未知对象的几何形状，而是假设目标对象是刚性的，并且其形状和材料是已知的和/或不相关的。 平移和旋转，仅剩的自由度.现在可以通过最小化最小二乘能量函数来找到，从而迫使场景假设与捕获的强度图像一致
我们的主要贡献是三方面的。 我们建议使用光传输模拟来从合成分析的角度解决间接视觉任务。 使用合成测量，我们可以量化物体运动对观察到的强度分布的影响，并预测在何种条件下该影响足够明显以至于无法检测到。 最后，我们演示并评估跟踪系统的硬件实现。 我们的见识不仅限于仅强度成像，而且我们相信它们将使非视距传感更接近实际应用。
光传输模拟（合成）。 这项工作的核心是有效的三反射光传输渲染器。 能够以极快的速度模拟间接照明对于整个系统性能至关重要，因为每个对象跟踪步骤都需要多次模拟运行。 像所有先前的工作一样，我们假定壁是平坦的并且是已知的，激光光斑的位置也是如此。 该对象表示为朗伯曲面元素（surfels）的集合，每个元素均以其位置，法线方向和面积为特征。 当对象移动或旋转时，其所有冲浪线都会经历相同的刚性变形。 我们用场景参数p表示此转换，场景参数p是用于纯平移的三维矢量，或用于平移和旋转的六维矢量。 给定相机像素接收到的辐照度是通过对从surfels反射的光求和而得出的。 依次，通过计算从激光光斑通过曲面到像素所观察到的壁上位置的辐射传递，可以独立获得彼此的贡献，如“方法”部分中所述。 请注意，像执行所有先前的工作一样，通过执行此过程，我们将忽略自遮挡，环境光的遮挡以及相互反射。 为了有效地获得由像素值S（p）的向量表示的全帧图像，我们并行化了模拟以计算图形卡上单独线程中的每个像素。 渲染时间的像素数和surfels数近似线性。 在NVIDIA GeForce GTX 780显卡上，分辨率为160×128像素的中等复杂物体（500个图像）的响应在3.57毫秒内呈现。 为了估计由运动或形状变化引起的强度分布变化的幅度，我们使用此模拟进行了数值实验。 在本实验中，我们在2 m×2 m的墙壁上使用了平行于正面的视图，其中一个小的平面物体（10 cm×10 cm的白色正方形）位于距离墙壁50 cm处。 物体和激光光斑位于墙的中心，但未渲染到图像中。 图2显示了由此获得的模拟响应。 通过改变对象的位置和位置，我们获得了可以被解释为相对于场景参数p的分量的偏导数的差异图像。 由于总的光通量随着物墙距离的四次幂而下降，因此沿Y方向的平移会引起最大的变化。 在所有方向上的平移以及绕X和Z轴的旋转比其他变化对信号的影响更大。 由于差异占整体强度的百分之几，这些变化非常明显，足以使用带有8至12位A / D转换器的标准数码相机来检测到。