《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019

Authors:

He Zhao, Bingyu Yang, Lvchen Cao, and Huiqi Li

Motivation

1、视网膜数据大量被用于早期的病理性检测,如青光眼视网膜并发症,高血压并发症等,然而由于视网膜图像的亮度差、对比度低、模糊性差,使得不同疾病的鉴别困难,也降低了医生的诊断准确率。

2、质量差的图像会导致自动图像处理(如分割、跟踪)的结果不满意,这可能会进一步影响疾病的分析。

3、有许多研究者试提出许多方法来增强低质量的视网膜图像。大多数方法都是利用normalization技术来提高视网膜图像的亮度和对比度,而对去模糊性的研究很少。

Contributions

  1. 该方法是第一个端到端的深层生成模型,以增强模糊的视网膜图像。
  2. 该模型可以通过弱监督的方式(不需要成对的模糊/高质量图像)来学习,该方法非常适合于医学图像中有限成对数据的情况。
  3. 提出的动态feature descriptor提供了特征约束,可以帮助模型产生更可靠的增强,其中包含核心信息和更少的伪像
  4. 增强的图像有助于改善自动处理的性能,例如血管分割和跟踪。

Net Structure

《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019

训练集,《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019代表的是模糊的数据,《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019代表的是高质量的数据。

文章用了两个生成器,《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019论文中写错了。应该是Gb:《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019->《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019)Ge用于enhance,Gb用于blurry,这种机制形成信息反馈,并使用弱监督的方式训练模型,其中设计了feature descriptor作为感知约束。两个G和两个D都是同样的结构。

De用于区分Ge生成的《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019与真实的《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019,Db用于区分模糊原始图像《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019与Gb生成的《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019;De和Db用于特征提取,提取增强的图和模糊的图,这部分的D随着网络的训练,提取能力越来瓯越强

结构为:

3个卷积和3个反卷积,中间连结处为残差bottleneck块(9个残差block)。D包含了5个卷积,本质上是patchgan

Loss Function

整个曾强的过程如下《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019,discriminator如下《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019,当X是真实的高质量的《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019时候,d趋向于1;当X是增强的《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019的时候,d趋向于0.

总的约束函数为《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019

Feature Consistent Constraint

《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019,用前述的D的其中一层提取特征,作为最终的FCC 《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019

Identity Loss

《Data-Driven Enhancement of Blurry Retinal Images via GANs》--阅读笔记-MICCAI2019

其它参数设定:ωadv = 1, ωCfea = 10, ωidt = 10

 

剩下内容:略