文献 Application of deep learning tothe diagnosis of cervical lymph node metastasis from thyroid阅读笔记

文献 2019.02-Application ofdeeplearning tothe diagnosis of cervical lymph node metastasis from thyroid cancer with CT 阅读笔记

本论文的目的是利用CAD系统,进行甲状腺癌颈淋巴结转移的CT诊断。用8种CNN模型将图像划分为转移性或良性淋巴结。在ImageNet上使用预先训练好的网络,选择性能最好的算法。采用全局平均池化的方法,用注意力热图可视化分类区分区域。
颈部淋巴结转移(LNM)被认为是甲状腺癌的重要因素。

使用 VGG16, VGG19, Xception, InceptionV3, InceptionResNetV2, DenseNet121, DenseNet169, and ResNet,8个模型作为在ImageNet数据集上预先训练好的主干模型。

使用CAM可视化

本论文方法框架:
文献 Application of deep learning tothe diagnosis of cervical lymph node metastasis from thyroid阅读笔记
所有的训练都使用深度学习包Keras (http://keras.io/)和tensorflow机器学习后端进行。batch大小设置为30,学习率设置为0.005,当在验证数据集中没有观察到进一步的减少时,学习率减少了10倍
采用R统计软件的pROC软件包进行受试者工作特性曲线图及结果分析

结果:

文献 Application of deep learning tothe diagnosis of cervical lymph node metastasis from thyroid阅读笔记
文献 Application of deep learning tothe diagnosis of cervical lymph node metastasis from thyroid阅读笔记

CAM生成良性和转移性淋巴结的关注热图,并将其叠加在原始CT图像上,对比实际淋巴结的位置和模型突出的区域。如下图:这表明CNN已经掌握了一个恶性肿瘤的异常特征,并以此作为LNM分类的依据。

文献 Application of deep learning tothe diagnosis of cervical lymph node metastasis from thyroid阅读笔记
注意类**映射绘制的热图(CAM)。红色显示模型的重点是区分良性淋巴结和转移淋巴结。
红色聚焦于良性淋巴结的门中央血管(a),在一个强大的增强区域(局灶性或弥漫性)转移淋巴结(b)。通过CAM产生的注意力热图,提高了可解释性。通常很难解释输入数据和模型预测的标签之间的内部关系。但是,利用注意力热图,我们可以推断出模型聚焦于输入图像的哪一部分。

讨论:

限制:该模型不是为了定位颈部淋巴结而建立的。用户需要在CT上识别淋巴结,并将图像输入到CAD系统。

关于CAM 和 GAP见下面文章:
浅谈Class Activation Mapping(CAM) - luofeel - 博客园 https://www.cnblogs.com/luofeel/p/10400954.html