《Medical image classification using synergic deep learning》论文笔记

利用协同深度学习进行医学图像分类

0 Abstract

医学图像分类在计算机辅助诊断、医学图像检索和医学图像挖掘中是一个非常重要的任务。尽管深度学习相对于传统的手工标注特征的方法有明显的优势，但是因为成像方式和临床病理造成的类内差异和类间相似性，它仍然面临挑战。本文我们提出了一个协同深度学习模型去处理这个问题。通过同时使用多个深度卷积神经网络（DCNNs），并且这多个深度神经网络可以互相学习。每对深度卷积神经网络（DCNNs）都将他们学习到的图像表示连接起来，作为协同网络的输入。协同神经网络有一个全连接结构，用于预测输入的图像对，是否为同一类。如果一个DCNN进行了正确分类，另一个DCNN犯下的错误会导致一个协同错误，从而产生更新模型的额外动力。在DCNNs分类错误和每对DCNNs的协同错误的监督下，该模型可以进行端到端的训练。我们在我们在ImageCLEF-2015、ImageCLEF-2016、ISIC-2016和ISIC-2017数据集上的实验结果表明，本文提出的SDL模型在这些医学图像分类任务中，取得了最好的性能。

1 Introduction

数字化医学影像在现代医疗中的重要意义，使得医学影像在临床病理中发挥着不可或缺的地位。医学图像分类是医学图像分析的一个重要步骤，其目的是根据一定的标准（例如临床病理和影像）来区分医疗图像。一个可靠的医学图像分类系统可以快速准确的帮助医生解释医疗图像。（总结：医学图像分类对于医学图像分析很重要）
在过去的十年里，医学图像分类得到了深入地研究，有大量的解决方案，他们大多数基于手工标注特征。尽管这些方法取得了成功，但是通常很难设计出适用特定分类任务的手工特征。最近几年，深度学习技术，尤其是深度卷积神经网络（DCNN）在医学图像分类和医学图像分割领域取得了重大突破。然而，这些方法比基于手工特征的方法要准确，但是在医学图像分类这方面，并没有取得同样的成功（手工更准确一些），正如( Deng et al., 2009; Krizhevsky et al., 2012 )在ImageNet挑战中一样。性能不佳的原因有两个。（总结：尽管深度学习在医学图像领域取得了重大突破，比手工特征更准确。但是在医学图像分类方面，手工特征比深度学习这些方法要更准确）
首先，深度模型可能会过拟合训练数据，（训练数据不够），因为医学图像分析通常使用的是一个小的数据集，这和获取图像数据然后进行图像标注的工作有关。为了解决这个问题，可以采用预训练深度模型，众所周知，从大规模数据集（例如ImageNet）中学习到的图像表征能力可以有效地转移到训练数据集有限的一般视觉识别任务中。（总结：性能不佳的第一个原因就是过拟合，解决方法就是采用预训练模型）
第二点，也是更重要的一点，对于医学图像分类，类内差异和类间相似更具有挑战性。例如图1中的(a)-(d)，从计算机断层扫描（CT）和核磁共振（MR）扫描仪中分离图像有以下困难：（1）CT和MR图像都提供了被成像的身体部位的解剖信息，因此具有许多相似性，非专业人士很难区分他们；（2）来自于同一模态的图片会因解剖位置和个体差异而有所不同。（例如图一中，a和b，c和d）。图1中的e-h，展示了另外一个例子，恶性皮肤病变和良性皮肤病变的分离。结果表明，良性皮肤病变e和f之间，恶性皮肤病变g和h之间存在较大的差异。然而，在形状和颜色上，良性皮肤病变e和f，更接近恶性皮肤病变g和h。为了解决这个问题，人类观察者更加关注由疑难案件引起的模糊性，相对于简单案例，这可以提供更多的判别信息。成对学习策略是一种有效的从成对样例中学习的技术，它可以捕获更多的信息用于区分困难案例。（总结：对于医学图像分类，类内差异和类间相似更具有挑战性。解决方法：成对学习策略）

图1 举例展示了基于模态的医疗图像分类（a-d）和基于病理的的医疗图像分类（e-h）的，类内差异和类间相似性。（a）是大脑的CT图像，（b）是胸膜的CT图像，（c）是大脑的MR图像，（d）是胸膜的MR图像；（e,f）是良性皮肤病变，（g,h）是恶性皮肤病变

1.1 Related work

基于手工特征的医学图像分类：颜色、纹理、形状和组合描述符在医学图像分类中广泛利用。Baloch and Krim (2007)提出了一个灵活的斜对称形状模型，去捕获特定领域里的形状变化，并且考虑所有的潜在变化。Song et al. (2013)设计了一个新颖的纹理描述器来表示丰富的纹理特征，通过结合多尺度Gabor滤波器和本地二值模式（LBP）直方图来进行肺组织分类。Koitka and Friedrich (2016)提取了多达11个手工视觉描述符，并且它们用于基于模态的医学图像分类。相比于，那些基于手工特征的方法，我们提出的SDL模型可以自适应有效地从数据中学习判别特征表示。（总结：基于手工特征方法使用各种特征描述符去分类，我们的方法SDL可以自适应，更有效）
基于深度学习的医疗图像分类：DCNN模型提供了一个统一的特征提取分类框架，将人类使用者从繁琐的手工特征提取中解放出来，用于医学图像分类。Xu et al. (2014)采取了一个DCNN将人工标注最小化，为组织病理学结肠癌图像分类提供了良好的特征表示。Shen et al. (2017)提出了多作物池化策略应用到DCNN中，去捕获目标突出信息，用于胸部CT图像中肺节点分类。Esteva et al. (2017)使用129,450张临床图片训练了一个DCNN用于诊断最常见和最致命的皮肤癌，并取得了与21名通过认证的皮肤科医生相匹配的性能。Koitka and Friedrich (2016)在预训练ResNet-152模型中提取出了最后一个全连接层的输出，并使用伪逆方法训练自定义网络层。( Personnaz et al., 1986 ). Kumar et al. (2017)集成两种不同的预训练DCNN架构，并把他们结合起来成为一个更强的分类器。Yu et al. (2017b)通过计算预测概率的加权和，提出了多个预训练ResNet-50和VGGNet-16以及多喝完全训练DCNNs的集合。在我们之前的工作中，我们联合使用了深度和手工特征进行医学图像分类，我们发现手工特征可以补充DCNNs在小训练集上学习到的图像表示。不同于这些网络，我们提出的SDL模型同时接受多个图片作为输入，因此可以使多个DCNN组件相互改进，学习更好的判别表示。（总结：介绍了一些学者使用基于深度学习模型用于医学图像处理的方法，与这些方法不同的是，本文提出的模型可以同时接受多个图片作为输入，因此可以使多个DCNN组件相互改进，学习更好的判别表示）
成对学习：在过去的十年里，成对学习策略被运用到各种各样的预测人物当中，例如签名验证、人脸验证、语音分析和自然语言处理。Bromley et al. (1994)描述了一个Siamese神经网络，通过比较提取特征向量和存储的特征向量之间的余弦夹角之间的距离来实现。Chopra et al. (2005)提出了一种从数据对中学习相似度量的通用判别方法，该方法通过最小化判别损失函数去扩大来自同一个人人脸对的度量，并且缩小来自不同人人脸对的度量。近年来，成对学习在无监督语音特征学习中得到了广泛的应用。Kamper et al. (2015)提出了一种无监督深度自动编码特征提取器，利用无监督术语发掘系统获得的词对进行弱自顶向下监督，实现了零资源语音处理。Kamper et al. (2016)也使用去训练Siamese DCNN，该DCNN以一对语音片段作为输入，使用hinge损失对相同词对和不同词对进行分类。Renshaw et al. (2015) 认为，相对于标准的无监督学习，使用词对指导表示学习有很大的好处。成对学习也别用于自然语言处理。Mueller and Thyagarajan (2016)提出了一个Siamese循环结构，该结构用实例对进行训练，以学习一个高度结构化句子表示空间，它捕获丰富的语义来学习句子相似度。不同于那些传统的成对学习，SDL模型避免了手工设计复杂的距离度量损失函数进行优化，利用交叉损失函数自动的学习输入的图像对是否属于同一类别。另外，SDL模型支持多个图像对的同时学习，在不共享参数的前提下与多个DCNN组件协同工作，使模型受益于多个网络的集成。

1.2 Out of our work

提出一个什么样的模型；SDL模型组成；每部分有什么作用；实验结果；
本文的贡献三方面：提出的SDL模型解决了什么问题；每对SDLs可以相互学习；在四个数据集上取得了良好的结果；
在会议文件的基础上进行了两方面的拓展：SDL2变成SDLn；模型的可以用于估计基于病理的数据集，也可以估计基于模态的数据集。

2 Material and method

2.1 Datasets

文本使用的数据集是两类：

基于模态的：ImageCLEF 2015、ImageCLEF 2016
基于病理的：ISIC- 2016、ISIC-2017

2.2 ImageCLEF-2015, ImageCLEF-2016

ImageCLEF收集的数据包括：多图像模态生成的字图、来自于PMC医疗数据分析的插图