图像超分辨率论文笔记

Real-World Super-Resolution via Kernel Estimation and Noise Injection

• 论文链接：http://openaccess.thecvf.com/content_CVPRW_2020/papers/w31/Ji_RealWorld_SuperResolution_via_Kernel_Estimation_and_Noise_Injection_CVPRW_2020_paper.pdf
• 代码：RealSR
• CVPR2020， NTIRE2020 RWSR双赛道冠军
• 算法结构：
  
  1）提出新的数据制作方案：统计模糊核与真实噪声分布并用于制作训练数据对，确保生成的LR图像具有与源域图像相似的属性；2）判别器采用块判别器，可以去除伪影；
  2）计算模糊核，参考KernelGAN，满足的约束条件为
  $arg min||(I_{src}*k)\downarrow _s-I_{src}\downarrow _s||_1+|1-\sum k_{i,j}|+|\sum k_{i,j} \cdot m_{i,j}|+|1-D((I_{src}*k)\downarrow _s)| (4)$argmin∣∣(Isrc​∗k)↓s​−Isrc​↓s​∣∣1​+∣1−∑ki,j​∣+∣∑ki,j​⋅mi,j​∣+∣1−D((Isrc​∗k)↓s​)∣(4)

$(I_{src}*k)\downarrow _s$(Isrc​∗k)↓s​表示利用核k进行降采样的LR图像，$I_{src}\downarrow _s$Isrc​↓s​表示基于理想核进行降采样的LR图像。第二项为正则化项，第三项为边界惩罚项;
2）提取噪声：如果某个块的方差小于设定的阈值，则将其纳入到降质池中。这个规则可以描述为$\sigma(n_i) \lt v （7）$σ(ni​)<v（7）;
4）RealSR降质算法：

Perceptual Extreme Super Resolution Network with Receptive Field Block

• 论文链接：https://arxiv.org/abs/2005.12597
• 代码：暂未开源
• CVPR2020， NTIRE2020 感知极限超分赛道冠军
• 网络结构（基于ESRGAN）：
  
  1）RRDB模块
  2）RRFDB模块
  
  3）RFB模块
  
  关注不同层次的细节，且减少运算量和参数量；
  4）上采样模块
  
  最近邻插值法上采样关注空间的特征转换，亚像素层关注depth-to-space，两者交替结合效果更好；
  5）训练时，先PSNR-oriented训练，将其作为预训练模型，然后添加内容损失和对抗损失进行微调；
  6）最终采用网络插值，取在测试集上最好的十个模型进行网络集成