【CVPR20超分辨率】MZSR:Meta-Transfer Learning for Zero-Shot Super-Resolution

论文：https://arxiv.org/pdf/2002.12213.pdf
代码：https://www.github.com/JWSoh/MZSR

一、简介

出发点：有监督的CNN超分方法都是基于大量外部数据在已知降质模型下进行训练，而对真实图片超分时，LR图片的模糊和噪声未知且复杂，所以目前的有监督类方法无法很好地解决问题。受到ZSSR论文和元学习的启发，作者提出了一个利用元迁移学习的 Zero-Shot超分方法来解决未知模糊核的超分问题。
创新点：

1. We present a novel training scheme based on metatransfer learning, which learns an effective initial weight for fast adaptation to new tasks with the zeroshot unsupervised setting.利用元迁移学习使参数快速适应于新的任务（新的模糊核降质后超分）
2. By using external and internal samples, it is possible to leverage the advantages of both internal and external learning.使用外部和内部数据，充分利用外部学习（自然图片的通用特性）和内部学习（特定超分图片的信息）
3. Our method is fast, flexible, lightweight and unsupervised at meta-test time, hence,eventually can be applied to real-world scenarios.（测试阶段快速灵活轻量且无监督，适用于真实场景）

二、相关预备知识

1.图像的降质模型：
通用过程包含模糊，下采样和加噪声，现在大多数方法仅采用双三次下采样得到LR图像（“bicubic downsamlping”），不考虑模糊噪声等情况。不同的模糊核和噪声都相当于不同的一次任务。
2.ZSSR：完全的无监督或自监督方法。大致算法过程：对于需要超分的那张图片（test image）,首先下采样x倍得到的图片记为“LR son”，而test image记为“HR father”，以这两张图片作为训练数据对网络进行训练得到一个对这张特定图片使用的网络，然后将test image输入该网络进行超分得到高分辨率图片。
3.元学习：分为两个过程，元训练和元测试。一个参数为θ的模型将x映射到y，元训练过程则是希望能够将这个模型适用于很多不同的任务，元测试过程测试对于一个新的任务该模型可以在元训练器的帮助下更快适应到这个任务。具体到超分任务：学习从$I_{LR}^k$ILRk​到$I_{SR}$ISR​的映射，由不同的模糊核k降质后进行超分代表不同的任务，即大量不同的k组成了任务的分布。

三、方法

三个过程：
1.large-scale training大规模训练
和目前常规有监督超分方法类似，用外部大量数据集（DIV2K）在双三次下采样降质情况下(训练数据集$D$D$(I_{HR}，I_{LR}^{bic})$(IHR​，ILRbic​)使用L1损失进行训练，得到训练好的参数$\theta_T$θT​。
好处：可以学习到自然图像的先验特性；减缓元训练阶段的不稳定

2.meta-transfer learning元迁移学习
用大量不同模糊核k合成训练数据集$D_{meta}$Dmeta​$(I_{HR}，I_{LR}^{k})$(IHR​，ILRk​)，模糊核分布$p(k)$p(k):

基于$D_{meta}$Dmeta​训练元训练器，$D_{meta}$Dmeta​分为任务级别训练集task-level training$D_{tr}$Dtr​和任务级别测试集task-level test$D_{te}$Dte​。
对于里面每一个新任务$T_i$Ti​，参数$\theta_i$θi​适用于该任务需要一次或多次梯度下降更新：

优化好的$\theta_i$θi​要能达到以下的最小损失：

更新$\theta$θ即图中$\theta_M$θM​

3. meta-test元测试
与ZSSR过程类似，由核估计算法得到下采样核生成“LR son”,在元学习阶段的参数帮助下根据具体图片更新参数得到适用于该特定图片的参数$\hat{\theta}_k$θ^k​，将图片输入网络得到超分图像。

算法流程

四、实验结果

1、双三次下采样场景结果
2、四种模糊核降质场景

梯度更新次数的影响：一次更新后本论文结果立刻变为最好，体现灵活性，可快速适用于新任务即新模糊核降质的超分。
总结
在ZSSR论文的基础上改进，加入了元学习的内容，解决了ZSSR论文中单纯依赖图片自身且需要数千次反向传播参数更新的问题。