《MICCAI2019》Integrating cross-modality hallucinated MRI with CT to aid mediastinal lung tumor segmen
预备知识：
- CT缺乏对医学影像的软组织对比度的信息，这也使得在肿瘤边界的划分以及可视化方面变得困难
- CT中部分难以被解释的特征，在CT学习提取MR图像信息的时候可以用来提供推断信息
- CycleGAN思想：
GANCycleGAN在我理解就是一个X->Y的单向GAN+Y->X的单向GAN，包括两个生成器G，F以及两个判别器Dx，Dy，在loss function上，一个GAN包括两个loss function，分别为生成器和判别器的，以及最后生成的x’和真实x之间需要保证相似性的loss function：cycle-consistency loss
所以Cycle中包括5个loss function
想法总结：
CT缺点：软组织对比度低
MR优点：包含了很好的软组织对比度信息
因此文章核心：提出一种基于CycleGAN的交叉模式的学习方法（CMDEL：cross-modality enduced deep learning），个人理解与多模态学习类似。
网络实现想法： - 从CT中提取MR信息
利用CycleGAN的思想：
第一步通过CT生成伪MR图像(图a上半部分图像)
第二步将生成的伪MR图像和真实的MR图像同时输入到第二个GAN网络中得到输出伪CT图像（图a下半部分图像）
第三步将生成的伪CT图像作为输入也输入到第一步中的GAN中
同时为了保证我们从CT当中提取到的伪MR信息和真实的MR信息具有相似性，文章另外采用VGG-19来对伪MR和MR进行训练，使得能够保存上下文的相似性，从而能够保证提取到的伪MR信息是能够真是反映MR信息的（图b上半部分图像） - 利用提取的信息作为辅助分割来改善CT的分割结果，网络文章中提到使用U-Net以及Dense-FCN（图b下半部分图像）
Loss function：
Dx+Dy的判别器的标准loss function
CycleGAN中生成的伪图像和输入的真实图像之间的loss function
Lcx：最后从CT中提取的伪MR信息和真实的MR信息之间需要保证相似度loss function
Lseg：图像分割的loss function
总结：
文章采用了四个网络，分别为
一个CycleGAN（包括两个GAN）从CT中提取MR图像，注意：此处CT和MR不需要配对
一个VGG-19保证生成的伪MR图像与真实MR图像的相似性
一个U-Net/Dense-FCN作为CT分割的网络