《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019
Authors:
He Zhao, Bingyu Yang, Lvchen Cao, and Huiqi Li
Motivation
1、视网膜数据大量被用于早期的病理性检测,如青光眼视网膜并发症,高血压并发症等,然而由于视网膜图像的亮度差、对比度低、模糊性差,使得不同疾病的鉴别困难,也降低了医生的诊断准确率。
2、质量差的图像会导致自动图像处理(如分割、跟踪)的结果不满意,这可能会进一步影响疾病的分析。
3、有许多研究者试提出许多方法来增强低质量的视网膜图像。大多数方法都是利用normalization技术来提高视网膜图像的亮度和对比度,而对去模糊性的研究很少。
Contributions
- 该方法是第一个端到端的深层生成模型,以增强模糊的视网膜图像。
- 该模型可以通过弱监督的方式(不需要成对的模糊/高质量图像)来学习,该方法非常适合于医学图像中有限成对数据的情况。
- 提出的动态feature descriptor提供了特征约束,可以帮助模型产生更可靠的增强,其中包含核心信息和更少的伪像
- 增强的图像有助于改善自动处理的性能,例如血管分割和跟踪。
Net Structure
训练集,,
代表的是模糊的数据,
代表的是高质量的数据。
文章用了两个生成器,(论文中写错了。应该是Gb:
->
)Ge用于enhance,Gb用于blurry,这种机制形成信息反馈,并使用弱监督的方式训练模型,其中设计了feature descriptor作为感知约束。两个G和两个D都是同样的结构。
De用于区分Ge生成的与真实的
,Db用于区分模糊原始图像
与Gb生成的
;De和Db用于特征提取,提取增强的图和模糊的图,这部分的D随着网络的训练,提取能力越来瓯越强
结构为:
3个卷积和3个反卷积,中间连结处为残差bottleneck块(9个残差block)。D包含了5个卷积,本质上是patchgan
Loss Function:
整个曾强的过程如下,discriminator如下
,当X是真实的高质量的
时候,d趋向于1;当X是增强的
的时候,d趋向于0.
总的约束函数为,
Feature Consistent Constraint
,用前述的D的其中一层提取特征,作为最终的FCC
Identity Loss
其它参数设定:ωadv = 1, ωCfea = 10, ωidt = 10
剩下内容:略