1. 背景

现存在的方法主要是针对广泛使用的双三次退化而设计的，对于任意模糊核的超分辨率低分辨率图像仍然存在根本性的挑战。
本文是一种基于双三次退化的深度SISR算法框架，利用即插即用框架对任意模糊核的LR图像进行处理，设计了一个新的SISR退化模型，以利用现有的盲去模糊方法进行模糊核估计。为了优化新的退化诱导能量函数，我们通过变量分裂技术推导了一个即插即用算法，该算法允许我们插入任何超分解先验而不是去噪先验作为模块部分。对合成和真实LR图像的定量和定性评价表明，所提出的深度即插即用超分辨率框架能够灵活有效地处理模糊LR图像。

论文：https://arxiv.org/abs/1903.12529
代码：https://github.com/cszn/DPSR

2. 先前的SISR的两种降解模型

1. y = (x ⊗ k) ↓s + n 模糊内核与高分辨率图像卷积之后带一个比例因子↓s，再加上一加性高斯白噪声(AWGN)，噪声级为σ。
2. 双三次退化模型：y = x ↓s ↓s表示具有缩放因子s的双三次下采样器(Matlab默认函数的大小)。由于其简单性，双三次降采样器模型成为评价SISR方法的基准设置

3. 主要解决以下两个问题

1. 设计一种替代的降解模型
2. 将现有的基于DNN的双三次退化方法扩展到新的降解模型中，以充分利用DNN的能力。

替代模型假设LR图像是HR图像的双采样、模糊和噪声版本：有两个优点：首先，进行推广；其次，它使我们能够采用现有的盲去模糊方法来估计给定LR图像的模糊核。
本文框架将基于神经网络的超分辨器集成到一个基于变量分裂的迭代优化方案中。结果表明，在傅里叶域中可以有效地处理模糊失真。因此，可以处理任意模糊内核。通过对现有的基于dnn的超级解析器进行少量修改，实现插拔步骤。
到目前为止，我们主要关注的是针对任意均匀模糊内核的非盲SISR，而不是针对任意非均匀模糊内核的盲SISR。盲SISR通常包括交替更新模糊内核和应用非盲SISR更新超分辨率图像，工作尝试训练DNN直接估计干净图像进行盲消模糊，但其实用性还有待进一步评价

4. 本文的贡献

1. 提出了一种比双三次退化模型更符合实际的SISR退化模型。它考虑了任意的模糊内核，并支持使用现有的去模糊方法进行模糊内核估计。
2. 提出了一种深度即插即用的超分辨率框架来解决SISR问题。DPSR不仅适用于双三次退化，而且可以处理任意模糊核的LR图像。由于迭代方法的目的是求解新的退化诱导能函数，因此提出的DPSR算法具有良好的原则性。
3. 提出的DPSR扩展了现有的即插即用框架，表明了SISR的即插即用先验并不局限于高斯去噪。

5. 相关工作：双三次的退化

即插即用图像恢复技术提出后由于其在处理各种反问题时的灵活性和有效性，受到了广泛的关注。该方法利用变量分裂技术实现了能量函数的初始化，并采用任意一种现成的高斯去噪器来代替先验相关子问题。与传统相比，它可以隐式地定义即插即用先验。据我们所知，现有的即插即用图像恢复方法大多将高斯去噪作为先验。我们将证明，对于即插即用SISR的应用，先验并不局限于高斯去噪。相反，一个简单的超分解器先验可以用来解决一个更复杂的SISR问题。
加性高斯白噪声在通信领域中指的是一种各频谱分量服从均匀分布（即白噪声），且幅度服从高斯分布的噪声信号
当根据经验及有关材料推测出主观概率后，对其是否准确没有充分把握时，可采用概率论中的贝叶斯公式进行修正，修正前的概率称为先验概率，修正后的概率称为后验概率
最大后验概率估计”是后验概率分布的众数
双三次退化模型
y = x ↓s ↓s表示具有缩放因子s的双三次下采样器。
求出目标图像B中每一像素点(X,Y)的值，必须先找出像素(X,Y)在源图像A中对应的像素(x,y)，再根据源图像A距离像素(x,y)最近的16个像素点作为计算目标图像B(X,Y)处像素值的参数，利用BiCubic基函数求出16个像素点的权重，图B像素(x,y)的值就等于16个像素点的加权叠加。下采样（即抽取）：对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样
比双三次退化模型更符合实际的、考虑了任意的模糊内核、支持使用现有的去模糊方法进行模糊内核K的估计。

5.1 要点一

本文模型：为了简化模糊核估计，退化模型y=(x↓s)⊗k+n，↓s是具有尺度因子s的双三次下采样器，简单地说，表示LR图像y是干净HR图像x的双二下采样、模糊和噪声版本。模型公式实际上对应于一个去模糊问题和一个具有双三次退化的SISR问题。因此，我们可以充分利用现已有的去模糊方法来估计k，这是优势之一。

5.2 要点二

能量函数：根据最大后验概率(MAP)，将能量函数形式化地给出

Min…是由退化模型确定的数据保真度(似然)项（为了方便和澄清参数的设置，从贝叶斯的观点来看）。Φ(x)正规化(先前)项。λ是惩罚参数。(结合起来是惩罚项)
对于能量函数：来解决能量函数首先采用变量分裂技术引入一个辅助变量z，得到以下等价约束优化公式：

然后我们处理等价约束公式使用了半二次方分裂(HQs)算法。注意，也可以利用ADMM等其他算法。我们使用HQs是因为它的简单性。HQS通过最小化以下问题来处理，该问题涉及额外的二次惩罚项：

µ是惩罚参数，一个非常大的µ将强制z大约等于x↓s
通常情况下，µ会在下面的迭代解决方案中非降序变化。

这方案是关于z（辅助变量）和x（高分图像）的交替极小化问题。
一方面，由于模糊核k只涉及封闭形式的解，z式解决模糊的失真问题。换句话说，它把当前的估计拉到一个不那么模糊的地方。另一方面，x式将模糊程度较小的图像映射到更清晰的HR图像，经过多次交替迭代，最终重建的HR图像不包含模糊和噪声。

5.3 要点三

即插即用框架，表明了SISR的即插即用先验并不局限于高斯去噪。

假设卷积是用圆形边界条件进行的，关于Z的有一个快速封闭的解决方案：

式中F和F逆表示快速傅立叶变换(FFT)和逆FFT，F(-)表示F()的复共轭。
关于x,从贝叶斯的角度，我们重写它如下:

通过假设zk 1是从HR图像x中双二下采样的，来应对具有比例因子s的超分辨率$z_{k+1}$zk+1​，然后被噪声等级 的AWGN所破坏。
从另一个角度来看重写公式用以下简单的双三次退化模型解决了一个超分辨率问题。y = x↓s + n.因此，一个可以插入基于DNN的超级解析器，训练在广泛使用的双三次退化与一定的噪声水平，以取代重写公式。为了简洁，x和重写公式可简化为：

由于上一项Φ(X)是在SR(·)中隐式定义的，因此我们将其称为超级解析器优先。

超级解析器网络

由于SRResNet是一个著名的基于DNN的超解析器，本文提出了一种改进的SRResNet，即SRResNet+，用于插入所提出的DPSR框架。SRResNet+在几个方面与SRResNet不同。首先，SRResNet+以噪声级别映射M作为输入。其次，SRResNet+将功能地图的数量从64个增加到96个。第三，SRRESnet+移除批处理正常化层。

所提议的DPSR方法与几个密切相关的基于dnn的方法之间的根本区别。

• 1.级联去模糊和SISR。对于具有任意模糊核的超分辨LR图像，一种启发式方法是先进行去模糊，然后对去模糊后的LR图像进行超分辨。然而，这种级联两步法的缺点是，第一步的摄动误差(the perturbation error)会在第二步放大。相反，DPSR对Eqn(4)给出的能量函数进行迭代优化。因此，DPSR趋向于提供更好的性能。
• 2.微调SISR模型与更多的训练数据。 也许最直接的方法是对现有的基于双三次退化的SISR模型进行微调，使用新退化模型生成的更多训练数据(即,Eqn。(3)造成所谓的盲SISR。然而，这种方法的性能会严重恶化，尤其是考虑到大的复杂模糊核时，这可能是因为模糊的失真会进一步加剧像素平均问题[34]。对于DPSR，它以blur内核作为输入，通过Eqn(9)可以有效地处理blur的失真。
• 3.具有端到端训练的扩展SRMD或DPSR，受SRMD的启发[65]，人们可以尝试通过考虑任意模糊内核来扩展它。但是，很难对足够多的模糊内核进行采样，以覆盖较大的内核空间。此外，训练一个可靠的模型需要大量的时间。相比之下，DPSR只需要对模型进行双三次退化的训练，训练时间大大缩短。此外，SRMD虽然可以有效地处理具有多个连续卷积层的15×15大小的简单高斯核，但对于处理较大的复杂模糊核就失去了有效性。相反，DPSR通过Eqn(9)采用了FFT更加简洁和专业的模块来消除模糊的失真。或者，可以利用DPSR的结构优势，以端到端方式联合培训DPSR。然而，我们把这留给我们未来的工作。

从上面的讨论中，我们可以得出结论，我们的DPSR原则良好，结构简单，可解释性强，并且较少涉及训练。

6. 最后