文章序号、所属单元及链接：0409-Computer Vision for Medical Robots
一作所属单位：University of Twente
读后体会：关键的创新点在于引入超声图像置信度图这一概念到视觉伺服控制中。

Abstract

对于自动获取乳房超声（US）机器人，当前挑战包括保持乳房与US 探头之间的声学耦合，最大程度地减少组织变形和提高安全性。在本文中，我们介绍了如何使用配备有线性US 传感器的7DOF 机器人执行自主3D 乳房US 采集。机器人3D 乳腺超声采集可以提高超声模态的诊断价值，因为它们可以进行患者特定的扫描，并且具有很高的重现性，准确性和效率。此外，3D US采集可在检查乳房时提供更大的灵活性，并简化与MRI 等术前图像的配准。为了克服当前的挑战，机器人遵循基于参考的轨迹调整的视觉伺服算法，参考轨迹是来自MRI。视觉伺服算法命令平面内旋转并根据置信度图校正探针接触。设置一个安全意识，使用内在被动的框架来驱动机器人。通过在模型上进行的实验对这种方法进行了说明，该实验表明机器人主要依靠超声的反馈时，只需要少量的术前信息即可对模型进行一致的成像。

Introdution

超声（US）成像已成为乳腺癌检测的重要诊断工具。它不仅用于诊断活检过程以确认病理学，而且还可用于定位乳腺癌。US 具有比其他成像方法更高的优势，因为它便宜，安全，并且能够实时显示感兴趣区域（ROI）的图像。此外，它比乳腺X 线摄影术更能可靠地检测出乳房密实的女性中的癌症，并且可以区分囊性病变和实体性病变。而且，以98％的置信度可以识别出恶性病变。

但是，手持式US的使用也有很多限制。探针操作的准确性高度依赖于操作员，可重复性低，并且过程耗时。由于图像为2D 横截面，因此很难可靠地测量目标结构。最后，由于缺乏可识别的空间特征，将图像与术前3D图像进行关联是很复杂的，例如在超声引导下对磁共振检测的病灶进行活检。
US 3D 乳房采集将克服这些局限性：可以对更大的ROI进行成像，可以对该ROI 进行任意横截面，并且可以更精确地测量病变的大小和体积。此外，更容易将术前US 数据与术前数据（如乳腺MRI）进行配准。

当前，有几种方法可以获取3D US 乳房数据。手动采集可分为徒手扫描，机械扫描和2D 阵列扫描。自动化扫描仪包括非接触式扫描仪，该扫描仪可以俯卧扫描患者，并将乳房浸入液体中。其他扫描仪以仰卧位扫描患者，探头与乳房接触。两种自动化系统都有缺点：信号的一部分由于US通过液体而丢失，或者由于乳房变形而导致体积重建很复杂。

与传统方法相比，利用机器人操纵的线性US 探头进行自动乳房体积采集的优势很多。与其他跟踪系统相比，机器人手臂具有更高的准确性，与人工操作者相比，它具有更高的灵活性和一致性。线性US 探头在医学成像中广泛使用，并且比3D US 探头提供更高的分辨率。因此，可以通过配备有US 探针的机械手来获取高质量，精确定位的切片。此外，可以根据个人的乳房形状来定制采集，这可能会使US的体积重建更加准确和有效。机器人技术已经在US其他几种医疗应用中显示出了潜力。

然而，在US进行自动机械式乳房采集还存在一些挑战。乳房极易变形，因此在声耦合和施加压力之间保持平衡。变形的图像更难重构、与其他模态配准。另一方面是患者和系统操作员的安全。

保持耦合可以通过多种方式实现。在静态情况下，可以利用术前图像(如MRI)生成与皮肤表面密切相关的轨迹，并在机器人坐标下记录患者的轨迹。通过使用市售3D 探头重建皮肤表面，也可以实时生成轨迹。但是，具有预定的轨迹并不能保证探头接触，因为可能会发生患者非自愿移动或测量不准确的情况。因此，一些研究在其应用中实施了力控制策略。虽然法向力与声耦合紧密相关，但它并不完全负责高质量的图像。用力反馈扫描可能会不必要地使较软的乳房变形，而在扫描较硬的乳房时图像质量可能会下降。

视觉伺服算法将末端执行器(EE)的行为与图像特征联系起来。前人在提出了一种基于灰度的方法来控制探头。另外，可以使用特征跟踪来控制平面内运动，而可以通过图像，散斑相关性或块匹配来控制平面外运动。最近，置信图已经成功实现。置信度图以像素方式表示对US 信号的置信度。它已被用于避免对阴影物体成像，实现均匀的探头接触，以及优化目标区域或全局图像。

在医疗机器人中，安全至关重要，因为机器人在非结构化环境中运行并与患者互动。因此，应引入机械臂的柔顺性以解决不受控制的撞击和患者运动。现在已有了了一些安全度量，例如头部撞击功率和头部伤害准则，并且已经实现了基于安全的控制器来限制机器人的速度，力，功率和能量。

这项研究的目的是对乳房进行保留乳房形状，安全的自动机器人3D US 体积采集。在确保安全性的同时，获得高质量、针对特定患者的定制化采集对于使此类应用更接近于临床是必不可少的。我们开发了一个设置来实现这一目标。将患者俯卧，并从术前MRI 提取初始扫描轨迹。由于患者重新定位期间的变形或非自愿运动，此扫描轨迹可能不准确。因此，反馈对于自主扫描至关重要。由于力反馈在不同的乳房上可能会产生不同的结果，因此我们提出了仅依靠US反馈的系统。置信度图用于维持探头和乳房之间的接触并最小化施加的压力。我们在内在被动安全意识的（safety aware, intrinsically passive，SAIP）控制框架中实施了轨迹跟踪和视觉伺服调整，以确保患者的安全。进行的实验表明，该机器人根据最小的术前输入始终如一地对复杂的扫描轨迹成像。

Automated Robotic Breast Ultrasound

A.系统概览

系统概述如图1 所示。患者以俯卧姿势躺在病人床上，被检查的乳房通过一个孔洞，机器人可以自由接近它。机器人被放置在床下。它配备有容纳线性US 传感器的末端执行器。机器人使用US 换能器在乳房表面上跟踪轨迹，以获取一系列2D US 图像以进行3D 体积重建。该轨迹是基于术前图像（例如MRI）的参考轨迹，该图像采用了来自US置信度图的实时视觉伺服输入。该轨迹是用于驱动机器人的SAIP 控制算法的输入。

B.路径规划

该路径被定义为一系列齐次矩阵，位于患者的皮肤上，定义了换能器在机器人基坐标中的所需姿势和位置。通过将MRI 扫描或CAD 文件转换为棋盘格化的表面重建，可以获得患者或体模的表面。航路点是通过将光线从预定路径（例如直线或螺旋形）投射到皮肤（参见图）生成的。射线与表面的交点代表EE 的变换。EE 的所需方向在每个位置均垂直于皮肤。通过测量或标记定位可以获得航点相对于基坐标的正确变换。

C.置信度图

置信度图提供了每个像素对获取的US图像的不确定度的度量，基于从图像像素开始并到达每个虚拟换能器元素的随机游走概率(a random walk)。随机游走算法满足三个约束条件：US 图像的顶部行的置信度为1，图像的底部行的置信度为0，信号遵守了US 特定的传播约束。置信度图会突出显示图像的衰减和阴影部分。它们可以用来估计探针与皮肤的接触情况。

D.控制策略

机器人应将US 探头移至患者皮肤上，而不会失去接触或造成过多的挤压。患者身体的总体形状已从MRI 中提取出来并相对于机器人定位。但是，患者的小变形或不自主运动可能导致实际轨迹与计算出的轨迹不同。置信图可用于控制探针的两个自由度：平面旋转和EE在z 方向上的平移，如图1 所示。其他四个自由度由预定路径确定。

置信度图的质心 ???? 描述了信心的分布，????_????和????_j都被转换到了EE坐标系中，对应为????_????和????_????。理想的x坐标质心应该接近0，这表明探头是垂直于皮肤的。中心扫描线(x = 0)与通过原点和质心的扫描线之间的夹角是测量当前与期望探头姿态之间的误差。

平均置信度????_????????????????表明了超声探头的那一部分与乳房接触，因为乳房为曲面。????_????为当前测量的平均置信度， ????_set为集的均值(the set mean)。利用一个简单的PD控制器对质心和均值进行了控制。用三阶函数对误差进行缩放，使大误差比小误差具有更高的权重。

E. 内在安全意识的被动控制

机器人的控制架构是根据G. Raiola等人提出的SAIP 控制方案实现的。阻抗控制在人机交互中很有用，因为环境不确定性要求合规的机器人行为。通过监视机器人的能量和功率输出，可以保证安全的人机交互。被动性是系统的基本标准，因为如果不保留被动性，则存在被动环境破坏机器人稳定性的可能性。被动系统的定义是一种稳定的动力系统，其总能量永远不会高于其初始能量和任何通过相互作用提供给它的外部能量之和。

Experimental Validation

A. 实验设置

机器人：KUKA LBR Med 7 R800
末端执行器：线性超声探头(VF13-5, Siemens AG, Germany)
超声仪：X300, Siemens，，超声信号通过捕获卡（Pro Capture DVI HD，
Magewell，China）将更新率为24 Hz的US图像流式传输到工作站。

B. 实验

利用模型的CAD 文件生成了模型上的四个路径。路径1包含由规划算法生成的齐次矩阵。在路径2 和3 中，旋转分量和z 平移分量分别保持恒定。因此，该算法必须仅补偿平面内旋转或z 平移。路径4 只包含正确的x 和y 坐标，并且控制器必须补偿平面内旋转和z 平移。

C. 实验结果

衡量标准：采用扫描过程中所有图像的平均置信度均值作为质量度量。
路径1和路径2都在z方向上有正确的位置规划，在检测过程中探头与模型保持了一定接触，路径3和路径4缺少z方向的规划，所以检测过程中与模型接触不良。

Discussion & Conclusions

这项研究演示了基于自动机器人的乳房3D超声采集的方法。该方法侧重于优化声耦合，最小化变形并确保患者安全。我们展示了如何生成患者特定的轨迹以及如何基于置信度图调整轨迹。输出将传递到SAIP 控制器，以驱动7DOF 机械手。尽管需要进行更精细的测试，但当前结果表明该系统可以可重复地执行US的获取：表I 显示，**视觉伺服算法后，轨迹上的平均置信度值非常相似。总体而言，结果表明，该采集得益于US的反馈，无论是变形方面还是图像质量方面。我们基于置信度图的平面内旋转结果与实现此功能的其他研究相当。此外，我们表明，置信度图还可用于维持与患者的联系。其他研究使用力传感器来保持探针接触。一致性和生成患者特定轨迹的能力意味着该设置相对于临床实践中使用的当前手持式和自动化方法具有优势。

我们提出了一种机器人3D US 采集乳房的方法。尽管已针对特定应用进行了介绍，但该方法具有足够的灵活性，也适用于其他3D US 获取。