A Pre-trained Convolutional Neural Network Based Method for Thyroid Nodule Diagnosis论文记录

最近看了几篇关于迁移学习的论文，并且是关于医学图像的分类问题的。下面介绍一篇论文基于预训练神经网络的甲状腺结节诊断。这篇文章是对甲状腺（thyroid nodule）的良恶性进行分类。文中提出了一种用融合CNN的方法来做，具体是用到迁移学习预训练2个CNN，再微调，分别输出最后一层全连接层特征，进行合并，融合后在放入softmax classifier进行分类。论文里也做了很多对比实验，包括与影像组学的对比，最后结论是融合特征实现最好的分类效果。
因为甲状腺图像容易收到回波扰动和斑点噪声的影响。许多良恶性结节具有相似的内在特征，不同类型的甲状腺结节在超声图上表现出不同的内部回声。人工辨认消耗很大，费时费力。本文采用将两种不同的卷积层和全连接的预训练的网络融合到一起。将经过预训练的卷积滤波，池化和归一化操作得到的特征图进行融合。最后，结合融合的特征图，使用softmax分类器诊断甲状腺结节。

根据上图可以看出良恶性的甲状腺结节很难分辨出来。
基于计算机辅助诊断（CADx）的方法来检测和分类甲状腺结节，传统的CADx设计通常包括三个主要步骤：预处理，特征提取和选择，分类。预处理一般包括去噪，对比度增强，边缘增强，分割等。这些预处理的步骤不仅繁琐，而且对后续处理有很大的影响。诊断图像特征可分为形态特征和纹理特征。分类器可以是支持向量机（SVM），K近邻，AdaBoost，高斯混合模型，概率神经网络，决策树等。大多是基于经过一系列预处理后从图像中提取的手工特征，有效特征的提取是一项具有挑战性的任务，需要分类器进行特征选择和特征集成的后续步骤的帮助。所以提出我们的方法。

CNN优点：CNNs通过从低水平图像构建高水平特征，自动从甲状腺结节超声图像中学习有效特征的层次，训练softmax对甲状腺结节进行分类。CNN可以捕获输入和输出之间的高度非线性映射，它是数据驱动的特征学习。我们的CNNs以甲状腺结节图像块作为输入，然后生成特征图作为输出。
这两个CNN使用一个初始的预训练策略来避免局部最优，并使用一个多视图策略来提高性能。许多临床甲状腺结节图像没有任何复杂的预处理在研究中使用。

上图为CNN1的网络结构，包含两个输入特征图，分别对应甲状腺结节图像的良恶性斑块。不同的CNN架构可以学习不同的特征，浅层网络可以学习低层特征，深层网络可以充分利用学习高层特征CNN1从甲状腺结节中获取细微低水平特征，CNN2从甲状腺结节中获取多级特征。
我们的CNN架构是来自于ImageNet数据库中130万张自然图像进行预训练的。

上图为两个CNN的网络结构。



可以看出将两个CNN进行融合的效果比较好。