文章序号、所属单元及链接：1929-Visual Tracking
一作所属单位：Imperial College London
读后体会：工程味道很足的一篇文章，细节很多很扎实，使用传统方法进行视觉伺服，双循环的控制框架是创新点。

Abstract

在微创手术（MIS）中，需要使用成像探头进行组织扫描以进行皮下可视化，以表征组织的状态。但是，对于外科手术医师来说，在运动的情况下扫描大型组织表面是一项艰巨的任务。最近，已经对机器人辅助的局部组织扫描进行了研究，以稳定成像探头的运动，从而有助于捕获高质量的图像并减少外科医生的认知负担。然而，这些方法要求组织表面是静态的或以周期性运动平移。为了消除这些假设，我们提出了一种用于自主组织扫描的视觉伺服框架，该框架能够处理自由形式的组织运动。恢复了手术场景的3D结构，并提出了一种基于特征的方法来实时估计组织的运动。所需的扫描轨迹在参考系上手动定义，并使用射影几何形状不断更新，以跟随组织运动并控制机械臂的运动。所提出的方法的优点在于，它不需要在扫描之前学习组织运动，并且可以处理自由形式的运动。我们将这个框架部署了在da Vinci外科手术机器人上，使用da Vinci研究套件（dVRK）用于超声组织扫描。我们的框架可以轻松扩展到其他基于探头的成像方式。

Introduction

在过去的几十年中，微创手术（MIS）迅速流行起来，现在已成为泌尿外科和先天性心脏病手术等手术的金标准。为了克服MIS在限制工作空间和不良三角测量(poor triangulation)方面的根本挑战，引入了机器人技术来提高外科医生的灵活性和舒适性。最近，机器人手术引入了自主性，从而使机器人手术系统可以完成特定任务。即使在挑战性条件下（例如组织运动），这种自动化技术也可以精确执行手术任务，从而减少了手术工作量并提高了患者安全性。一个例子就是人工耳蜗，它从有限的手术空间和所需的精度方面受益于自主性。然而，外科手术自动化仍处于起步阶段，到目前为止，其重点是执行诸如切割和缝合之类的低级外科手术任务。

术中成像的最新进展使得能够进行体内生动(vivo)、原位组织表征。尽管这些方式提供的详细程度很高，但由于其对高精度和稳定性的高要求，使用微型成像探头仍对大型和非静态组织表面在实践中是一项具有挑战性的任务。解决此问题的方法是运动补偿，它是指在手术环境中应用计算机视觉和机器人自主权来明显取消组织运动的方法。通过运动补偿，使用这种成像探头自动进行组织扫描不仅可以提高捕获数据的质量，而且可以减少手术时间并减少手术量。当前机器人辅助局部组织扫描的方法依赖于这样的假设：组织是静止的或以周期性运动运动。这项工作旨在为自主组织扫描提出一种视觉伺服框架，优化探针与组织的接触并补偿自由形式的组织运动，其中视觉伺服是指视觉信息在机器人运动控制上的应用。所提出的框架通过消除对扫描之前学习组织运动的需求以及实时处理自由形式的组织运动来改进最新的自主组织扫描方法。该框架已在模型数据上得到验证。

Related Work

当前使用成像探针进行机器人辅助组织扫描的方法已集中在使用超声和pCLE作为成像模式的应用上。上述模式应该紧紧地跟随组织运动而牢固地接触组织表面，以捕获高质量的成像数据。(pCLE:探头式CLE，CLE：共聚焦激光显微内镜，confocal laser endomicropy)。

以前有关自主超声波扫描的研究主要集中在图像引导的针头插入，创伤超声聚焦评估（FAST），肿瘤检测和血管跟踪。在上述视觉伺服框架中，来自超声数据或内窥镜摄像机的信息已用作探头定位或扫描视觉反馈。近来，力反馈也已包括在具有触觉反馈的超声引导的柔性针插入中。对于需要提前规划机器人轨迹的应用，已经使用立体摄像机，RGB-D摄像机或RGB-D和术前MRI图像的组合重建了3D结构。

先前有关pCLE自主扫描的研究已经通过使用力反馈和用于姿势估计的立体视觉解决了组织接触的问题。光学相干断层扫描（OCT）也已被用来测量探头和组织之间的距离，并与pCLE数据融合以增强可视性。R. J. Varghese等人提出了一种深度学习框架，将模糊的图像标准作为输入，以将探头的位置分类为过于接近，太远或距组织正确的距离。P. Triantafyllou等人提出的方法还仅根据来自pCLE数据的信息，通过应用Crete-Roffet模糊度量（CRBM）和模糊逻辑来控制探头/组织的距离。大多数研究都采用了B. Rosa等提出的镶嵌算法(mosaicking algorithm)，该算法已通过P. Giataganas等人提出的方法进行了更新。(注：关键是解决探头与组织的接触问题)

实时跟踪和估计组织的运动对于开发对该运动具有鲁棒性的术中视觉伺服框架至关重要。最近的工作集中在目标病变的跟踪上，以改善超声引导下的乳腺活检。类似地， J. op den Buijs等人更具手术工具和软组织之间的相互作用，预测了皮下目标的位移。

先前有关组织跟踪的工作为暴露的组织表面添加了基准标记或合成特征，以便实时监控组织的动态3D位移。为了处理在长期跟踪过程中发生的遮挡，使用了静态场景的假设，或者提出了避免机器人遮挡的建议。考虑到组织可能具有均匀的纹理，跟踪组织变得更具挑战性，因此，只有少数几个不同的特征可用于跟踪组织的运动。先前的工作表明，在MIS中，我们可以使用针对MIS应用量身定制的显著特征来跟踪软组织，或者通过融合不同的特征检测器来增加不同图像之间正确匹配的特征的数量。但是，描述子的融合在计算上更加昂贵，这限制了它在组织扫描等实时应用中的直接使用。

Methodology

A.框架概述

该框架基于达芬奇研究工具包（dVRK）建立。组件包括一个立体内窥镜摄像机，一个与dVRK控制器链接的患者侧操纵器（PSM）和一个Cadiere钳（美国，Intuitive Surgical Inc.）。使用UTS-533线性阵列超声探头，该探头连接到ProSound Alpha 10（日本，日立Aloka医疗）。具有7 x 3不对称圆形图案的KeyDot标记（美国，Key Surgical Inc.）粘附到Ultrasounds探针上。该软件系统由机器人操作系统（ROS）构建，可促进并行计算以及与立体内窥镜摄像机和dVRK控制器的通信。
该框架涉及几个坐标系（见图1），包括：PSM基座（B），PSM末端执行器（E），左内窥镜摄像头（C），探头上的标记（M）以及组织与探头接触的点（P）。

B.视觉伺服

基于姿势的视觉伺服（PBVS）控制体系结构设计用于运动补偿（图2），接收扫描轨迹（以2D形式）作为输入并输出PSM运动。图2中显示了两个视觉反馈回路，包括一个用于测量探头姿态的内部回路和一个用于跟踪组织运动的外部回路。首先，使用通过3D重建获得的点云将输入的2D扫描轨迹投影到3D。然后，连续更新3D扫描轨迹以补偿组织运动，组织运动是使用跟踪算法估算的。将3D扫描轨迹的每个点对应为理想的探头/组织接触点，从中可以计算出相应的所需标记位姿。将所需的标记姿势与标记的当前姿势（图1中的“ M”）进行比较，并计算它们之间的差异。最后，将标记姿态差与测得的PSM姿态一起使用以计算所需的PSM姿态，然后将其发送到dVRK控制器以生成PSM运动。

C.3D重建

3D重建模块使用以立体镜获取的经校正和未失真的立体图像作为输入来计算组织表面的点云和法线向量。高效的大规模立体匹配（ELAS）方法被用来估计视差，已经被验证了其在医学领域的有效性和效率。左摄像机被定义为参考坐标系，因此，与左摄像机相对应的视差被应用于生成点云。在获得点云之后，通过在两个正交方向上计算一阶导数并取它们的叉乘来估计每个点的表面法线。

D.组织追踪

我们提出的框架要求机器人在存在组织运动的情况下沿着3D扫描轨迹移动探针。因此，需要连续校正扫描轨迹以实时地适应组织形状。为此，我们计算了组织初始到当前的最佳刚性转换，其中，初始是指组织参考点云（扫描开始时），当前是指最新点云（即一项实时计算）。将估计的刚性变换应用于参考轨迹的每个点，以更新扫描轨迹。当轨迹与组织表面对齐时，由于与探头接触而引起的组织变形被最小化并且可以忽略不计。为了估计上述刚性变换，需要沿着时间追踪组织表面以建立点对应关系。在我们的工作中，跟踪了分布在组织表面上的稀疏的感兴趣区域（ROI），并估计了它们在连续帧之间的运动。在此模块中，由于它们的实时性和有效性，我们使用了ORB特征提取和MedianFlow跟踪。

组织姿态估计是由以下五部分循环算法得出的，如图3所示。使用图像+点云作为输入来输出最佳变换（平移+旋转）。该算法首先对输入图像（a）进行二进制分割以标记组织的像素，如图所示。然后，跟踪稀疏的ROI集，如蓝色（b）所示。然后，它检查ROI中是否存在遮挡。如果检测到遮挡，则停止跟踪该ROI，如红色（c）所示。使用蓝色（d）中的ROI，该算法通过计算最佳的初始到当前转换来估计组织的当前姿态。最后，使用最佳转换，尝试“重新初始化”先前循环中先前停止的ROI，以绿色（e）显示。

（1）组织分割：二值分割的方法区分开组织和场景中其余像素。不属于组织的像素（例如，机械臂的像素）与估计组织的姿势无关，因此被忽略。
（2）跟踪：该算法使用输入的校正图像。估计每个ROI的运动，以便在组织移动时，ROI也相应地移动。使用MedianFlow跟踪器估算ROI的运动。
（3）停止追踪部分ROI：当ROI内的组织像素百分比小于给定阈值（根据经验确定），或者ROI的视觉特性（灰度直方图+ ORB特征）发生显着变化时，就会检测到遮挡。对遮挡的ROI停止追踪，在（5）中会尝试恢复这些停止的ROI。
（4）姿势估计：：该算法通过计算初始到当前的最佳刚性变换来估计组织姿态。输入图像中的每个2D点在输入点云上都有一个对应的3D点。通过跟踪每个ROI中心的2D点，该算法可以隐式跟踪点云中的相应3D点。这些3D点在这里用于估计组织的当前姿势。该算法使用RANSAC迭代过程来降低噪声和异常值。
（5）重新初始化ROI：使用（4）中的最佳变换，估计在先前的循环迭代中被跟踪的“停止”的ROI将在输入图像中的位置。将估算的ROI的视觉特性（灰度直方图+ORB特征）与其参考进行比较，如果有匹配项，“重新初始化”该ROI。循环结束

通过最佳变换，机器人可以扫描在不同方向上难以预测移动的组织，这是本文的主要创新之处。

Experiments and Results

A.实验设置

编程语言：C++
PC：Intel Core (i7-3770) and 16 GB RAM
图像分辨率：576*720
图像反馈帧率：25帧/秒
3D重建和组织跟踪频率：10帧/秒
模型：硅肝模型，由三台Strada电机控制其所在平台三个方向的运动，并设置了三种周期性运动方式模拟不同呼吸速度和幅度。另外加入了随机的自由运动以测试框架的追踪性能。

B.伺服准确性

评估探头实际位姿与理想位姿的误差
Ground Truth：标记物的姿势
实验次数：10次，每个Profile3次，以此自由运动。

C.组织追踪的准确性

估计的组织位姿与真实组织位姿的误差。
Ground Truth：ArUco fiducial marker

D.超声稳定性

框架的最终目标是能够稳定地扫描组织区域，比较不同方法所得超声图像质量是评价的重要方法。定量化评价的指标是归一化互相关（NCC），NCC越高图像之间的相似度越高。

Discussion & Conclusions

所提出的框架展示了其能够补偿周期和自由形式的组织运动，同时保持稳定的超声扫描的能力。根据实验结果，我们的框架跟踪的组织的平移平均误差为0.7 mm，旋转平均误差为1.3°。我们认为该错误主要是由于估计的3D点云中的噪声引起的。在我们的跟踪算法中，我们使用三个点的样本来计算最佳变换。在未来的工作中，我们计划使用更多的点来测试和比较算法的性能。视觉伺服精度实验得出的误差为0.8 mm和0.6°。一个原因可能是PSM接收命令与执行操作之间的延迟，其中每个周期都要计算逆运动学。误差的另一个来源是PSM的固有误差，据称约为1mm。

计算能力还限制了框架的性能，因为该框架当前仅在CPU上运行。解决此问题的综合方法是使用具有GPU计算功能的计算昂贵的模块。

当成像探头接触软组织时，会发生变形，从而对图像质量产生负面影响，因此，应控制探头组织力以最大程度地减少组织变形。在未来的工作中，我们计划进行进一步的实验，在其中实时检查探头组织的力。此外，我们计划使用离体和体内数据验证我们的框架，并对视觉伺服组件进行更彻底的性能评估。此外，我们计划添加一个模块，使用超声图像作为输入来重建肿瘤表面的3D模型。预计增加肿瘤重建模块将使这项工作大为受益，因为它将使我们能够通过将肿瘤的预测体积与CT扫描得到的真实体积进行比较来评估整个框架。

在本文中，我们提出了一个准确，有效的组织扫描框架。我们的组织扫描框架是全自动的，并且不需要任何有关要扫描的组织形状的术前数据。我们框架的主要优点是它可以处理自由形式的组织运动，从而消除了其他最新方法所使用的周期性运动假设。我们的框架在扫描之前不会学习动作；相反，它通过计算组织的最佳初始到当前转换来估计组织的姿势。框架已经在da Vinci机器人上进行了验证。