AI诊断肺结节
AI诊断肺结节
本期我们介绍一篇发表在MIA的文章：Shape and margin-aware lung nodule classification in low-dose CT images via soft activation mapping
人工智能技术在基于医学影像的肺结节辅助诊断（检测和分类）领域已有广泛的研究，也有不少研究成果已经服务于放射科医生，一定程度上提高了医生的工作效率。目前的深度学习算法的可解释性问题仍然是AI领域亟待解决的问题，现有的CAM和Grad-CAM等方法的提出为探究深度神经网络做决策的依据提供了比较好的解释。它们针对自然图像中目标的定位和分类得到了较准确的attention map，但是对于肺结节分类（良性／恶性）的任务表现的不是很好。
图1 自然图像和肺结节图像的区别
如图1的对比可以看出，CNN对于自然图像更着重于在复杂背景中找到目标物体，而CT的肺结节样本形态各异，背景单一，对于一般的基于CNN的分类网络来说，难以捕获更具区分性的特征，而且良性与恶性结节的本体部分（红色虚线框）在视觉上无太大差异。因此，我们将视线转向关注于肺结节的形态和边缘（shape and margin）信息，提出了软**映射方法（soft activation mapping，SAM）。通过SAM和U-Net的结合，可以很好地让模型关注在结节的边缘和不规则的形态上，从而对分类结果有一定的提升。
SAM方法如图2所示，n个特征图为卷积神经网络最后一层的输出，与CAM不同的是，对每个特征图都接一个均值pooling（不是global pooling）和一个全链接层（只有一个神经元，即输出是一个向量）。在CAM中，最后的global pooling使得网络学到的特征图中的所有pixel对分类器的决策有同等的贡献，而SAM通过均值pooling将每个特征图分成小block，然后每个小块经过pooling后作为其全链接层输入的一维，即每个小block中pixel对分类器的贡献是通过学习得到的，有不同权重。
图2 软**映射（SAM）
图2中的高层特征为卷积神经网络的高层卷积得到的具有一定语义信息的特征，通过全局pooling后，与n个单独的全链接层的输出相加。整个SAM模块的实际使用是与U-Net结构相结合，如图3所示。
图3 SAM和HESAM的具体实现
实验中的数据使用的是LIDC-IDRI数据集，扔掉了平均得分为3的样本，构造了4个数据集，不同的输入对应网络第一层的输入通道数不同。同时文中也得到一个发现：随通道数的增加，过拟合的现象有所缓解，结合图4中的结果可以看出，相比于只有中心切片的11通道数据，多切片的数据通过本文方法可以提取到更全面的有区分性的特征。
图4 不同方法attention maps的对比，每组图的一列是11通道的数据得到的，每个通道都是相同的中心切片；每组的最后一列为真实的11通道数据得到的结果；每个attention map下的数值表示预测为恶性的概率
由图4可见，SAM可以产生相对离散的特征，与U-Net中间特征结合后，加入了结节的结构信息，对结节的边缘和不规则形状得到了很好的覆盖。
表1 不同方法在不同数据集上的实验结果，表示构造的不同数据集
为了增强该方法的置信度，文章给出了与医生观察的对比实验（Blinded Decision）：只给医生看CT的肺结节图像，让医生给出分类结果和他们所关注的图像特征。结果如图5所示：
图5 Blinded Decision实验，绿色框中为医生对该结节的描述
可以看出，对于两种结节，医生给出的描述与HESAM方法的attention map最接近，不管是良性结节相对光滑的边缘还是恶性结节的不规则形态和边缘。
总之，本文方法为进一步理解CNN对肺结节图像做决策的依据提供了一个较好的思路。该方法目前也受限于使用U-Net结构为backbone，后续的改进之处可以着眼于更加elegant的backbone。
END
备注：医学影像
医学影像处理识别交流群
医学影像CT、MRI、X光处理、分类、检测、分割等技术，
若已为CV君其他账号好友请直接私信。
我爱计算机视觉
微信号:aicvml
QQ群:805388940
微博知乎:@我爱计算机视觉
网站:www.52cv.net
在看，让更多人看到