深度学习——Deep-Masking Generative Network

CVPR2020论文：Deep-Masking Generative Network: A Unified Framework for Background Restoration from Superimposed Images

1.主要内容：提出了 Deep-Masking Generative Network (DMGN)对叠加类型噪声图像进行背景重建（如，去雾，去雨，去反光）。首先，同时生成粗略的背景图像和噪声图像，然后，依据噪声图像对粗糙背景图像进行迭代优化，提高背景图像的质量。DMGN的核心是残差深度掩膜单元（Residual Deep-Masking Cell），其通过学习掩膜来控制信息流，加强有效信息并压缩负面信息。

2.主体架构

主要分为两个阶段：
a.粗略阶段（Coars Pase）:输入为一张雨点重叠噪声图（Input）,输出为粗略背景图（B_Coars）和雨点噪声图（R）。
首先，原始图 Input 输入经过HFL模块提取图像深层特征 F 。结构如下：

包含预训练的VGG-19和可训练的两个3*3卷积层。

其次， F经过特征分离器S得到背景特征 Fb 和雨点噪声特征 Fr 。

其中，F经过4层卷积成后得到空间相关特征A，输出Fb=F×A。通过计算得Fr=F-Fb。

然后，背景特征Fb和雨点噪声特征Fr分别通过相同U型结构的生成器，得到粗略背景图（B_Coars）和雨点噪声图（R）。

其中，由残差深度掩膜单元（Residual Deep-Masking Cell）堆叠而成，并采用了跳跃连接（补偿低层次图像信息，促进信息传播）。

b.优化阶段（refining phase）：以雨点噪声图（R）作为对照，不断优化粗略背景图（B_Coars），从而输出精确背景图（B）。

优化阶段的两大机制：1）将雨点噪声图（R）特征信息（作为对照，所以乘了负1)和Fb信息也作为源信息，通过ACA模块后，参与优化过程。2）根据噪声图去调整残差深度掩膜单元，迭代促进优化过程。

其中，该阶段依旧采用残差深度掩膜单元（Residual Deep-Masking Cell）堆叠的方式，但是，堆叠的各层的图像特征尺寸不变，各层以雨点噪声图（R）作为参照不断促进优化过程。

ACA模块 (Adapted Channel-wise Attention module) 的主要功能是融合雨点噪声图（R）的特征信息 ，Fb 信息。然后，同粗略背景图（B_Coars）特征信息相加作为优化过程的源输入。其结构：

NDM模块（Noise Distribution Map）主要功能是提取噪声分布特征，与残差深度掩膜单元（Residual Deep-Masking Cell）连接，调整优化过程的掩摸（mask） 。其结构：

3.模型训练
对整个模型进行端到端的有监督训练。特别地，采用了3个损失函数进行训练。
1）.像素级L1重建损失函数

2）.感知损失函数
用于评估深层语义信息。

3）.条件对抗损失函数
用于激励生成的背景图接近 ground-truth。

优化阶段（refining phase）的损失函数为上面三个的综合：

粗略阶段（Coars Pase）的生成的背景图（B_Coars）质量不高，所以该阶段不采用对抗损失函数。故其损失函数为：

总之，模型总的损失函数为：

4.补充说明文章核心模块：残差深度掩膜单元（Residual Deep-Masking Cell）