超分辨率重建之EDSR&MDSR

EDSR

与残差网络不同，这里对其进行了改进。如下图所示：

去除了BN层，原文的解释是由于归一化特征之后，导致去除了这个网络范围的灵活性，并且减少了GPU的使用。原文的英文为：Since batch normalization layers normalize the features, they get rid of range flexibility from networks by normalizing the features, it is better to remove them. 补充一下，在知乎上贾杨清的解释是，补充一个直观的理解，BN在classification当中的效果较好，主要原因是因为classification对于scale不敏感。但是superresolution这样图片到图片的变换，per image的scale还是一个有效信息。类似的一个情形是style transfer，同样也是图片到图片的变换，Ulyanov et al.提出用instance normalization的方法，IN可以理解成为每个图片自己做BN，这样比BN能保留更多scale信息。更新的研究表明如果训练收敛不是问题的话，进一步去掉IN的效果也会更好。总的来说BN对于简化调参有好处（更容易收敛），但是并不一定真的适合所有应用。

首先提出了单比例模型

单尺度网络（single-scale SR network —— EDSR）结构

结构类似于 SRResNet ，但是模型在残差模块之外并没有设置 ReLU **层。而且，我们的基准模型也没有残差缩放层（residual scaling layers），因为我们仅仅为每一个卷积层使用了64维的特征映射。在我们最终的单尺度模型中，我们通过设置B = 32（深度，层数） ，F= 256（宽度，特征通道数），比例因数（scaling factor）为0.1对基准模型进行了扩展。模型结构如上图所示。

当在升采样因子（upsampling factor）为 ×3 和 ×4 的时候，我们用预训练的 ×2 网络初始化了模型参数。这一预训练方法加速了训练进程，也提升了最终的性能表现。对于升采样 ×4 的情况，如果我们使用了一个预训练的 scale×2 模型（蓝线），训练就会比随机初始化的训练（绿线）收敛的更快。如下图所示：

通过上面的分析，可知超分辨率在不同的尺度是有内在关系的。结构如下图所示。其中中间有16层残差块作为主要共享部分。这里还提出特定尺寸处理模块（scale-specific processing modules）。网络开头有预处理模块用来减少来自不同尺寸图像的方差。每个预处理模块都有两个残差块（5*5的卷积核），在网络最后有unsample模块用来多尺度重建，类似于单比例模块。

多尺度 SR 网络（multi-scale SR network —— MDSR）结构

实验效果图：

参考：

链接：https://www.zhihu.com/question/62599196/answer/200925911

论文链接：http://cv.snu.ac.kr/publication/conf/2017/EDSR_fixed.pdf

https://baijia.baidu.com/s?id=1573149923426409&wfr=pc&fr=app_lst