Deep Learning for Single Image Super-Resolution: A Brief Review_架构部分
这篇论文是2018年的，所以总结的SR网络截止到2018年，后续会持续更新…
以SRCNN为baseline，架构如图1，存在三个问题：
(1)双三次插值存在问题：(a)引入了细节平滑效果这些输入可能导致进一步的错误估计图像结构;(b) time-consuming; ©如果上采样的内核未知，不应该用特定的插值方法得到input。如何得到一个有理有据的input？
(2)SRCNN只有三层，更深的网络来达到更好的效果？
(3)loss和架构的设计都没有与SR结合，如何与传统的SR task相融合？
图1
问题（1）解决：
直接使用LR图像作为input → 网络中进行上采样 → deconvolution/transposed convolution
FSRCNN是第一个使用deconvolution层的，如图2（1），给定上采样因子，先对其进行插值，然后用步长为1对其进行卷积，通常插值用的是最近邻插值。有两个优势：(a) 计算量降低，速度增加；(b) 更适合下采样核未知的情况。但仍存在两个问题：(a)deconvolution层无法完全恢复好图像中缺失的信息;(b) 最近邻插值中每个方向上的被上采样的特征被重复使用，产生冗余。
为解决该问题，ESPCN提出一种新的deconvolution方式，如图2（2）。ESPCN扩展了输出特性的通道，用于存储额外的点以提高分辨率，然后重新排列这些点以通过特定的映射标准获得HR输出。由于扩展是在通道维度上进行的，一个较小的内核大小就足够了，且进一步表明，在ESPCN中，将普通但冗余的最近邻插值替换为用零填充子像素的插值后，反卷积层可以简化为亚像素卷积。显然，与最近邻插值相比，这种插值更有效。
图2
问题（2）解决：
两个思路：(a)增加卷积层层数；(b) skip-connection
(a)
VDSR是SR中一个使用very deep model的网络，架构如图3（1），优点在于可用于不同上采样因子的SR task，且用了残差结构，但有大量的参数需要训练。
为了解决这个问题，降低参数量，DRCN网络被提出，架构如图3（2）。为了更好的训练，提出了multisupervised strategy，不仅创建了使梯度在反向传播过程中更平滑地流动的捷径，而且还指导所有中间表示来重构原始HR输出。然而，对于融合，这种策略有两个缺陷:1)一旦在训练过程中确定了权重标量，它们就不会因为不同的输入而改变;(2)使用单个标量对HR输出进行加权，没有考虑像素上的差异，不能以自适应的方式对不同的部分进行区分。暂时没有对该网络进行改进的网络被提出。
图3
把ResNet引入SR task中，SRResNet和DRRN被提出，沿用ResNet中的残差块结构，如图4（1）（2）。但两个网络中的带有BN的残差块是为分类而设计的，其中内部表示是高度抽象的，并且这些表示可能对BN引入的偏移不敏感。对于像SR这样的图像到图像的任务，由于输入和输出是紧密相关的，如果网络的收敛不是问题，那么这种转移可能会损害最终的性能。EDSR的提出解决了这个问题，架构如图4（3），而且还在很大程度上增加了每一层的输出特征个数。另外，受到不同尺度因子的SISR过程之间具有较强相关性这一事实的启发，以已经训练好的2倍网络，训练了3倍和4倍放大因子的网络，如图4（4）。
图4
虽然残差块取得了较好的SR重建效果，但是有学者指出，ResNet支持特性重用，而DenseNet支持新特性探索。因此SRDensNet和MemNet被提出，如图5（1）（2），SRDensNet中，在反褶积层之前，进一步连接来自不同块的所有特性，这在性能上被证明是有效的；MemNet]递归地使用残差单元来代替基本DenseNet块中的正常卷积，并在不同块之间增加密集连接，short-term memory和long-term memory相结合。根据这个架构，RDN被提出。
图5
问题（3）解决：
现在有7类NN与传统算法结合的网络：
（a）与稀疏编码结合：
自然图像中的稀疏先验，以及源于此先验的HR和LR空间之间的关系，因其良好的性能和理论支持而被广泛应用。SCN被提出，利用迭代收缩阈值算法（LISTA）解决传统SR算法time-consuming问题，后续同一作者又提出了CSCN网络，如图6，使用多个SCN。
图6
（b）通过NN学习ensemble：
从集成学习的角度来看，自适应地融合不同目的的模型在像素级可以获得更好的结果。受此启发，MSCN被提出，如图7，以CNN的形式开发了一个额外的模块，以LR为输入，输出几个与HR形状相同的张量。这些张量可以看作是每个原始HR输出的自适应element-wise权值。通过选择NNs作为原始SR推理模块，可以对原始估计部分和融合部分进行联合优化。然而，在MSCN中，每个像素的系数总和不是1，这可能有点不协调。
图7
（c）with progressive methodology
DEGREE、，将ResNet的递进性与传统的子带重构相结合; LapSRN，逐步生成不同尺度的SR;以及PixelSR，利用条件自回归模型逐像素生成SR。如图8。
图8
（d）从LR图像中学习附加信息
有学者提出，用语义先验可以帮助提高SR的精度。如DEGREE将LR的边缘映射作为另一个输入；SFT-GAN用LR的语义分割mapping作为另一个输入；SRMD，将降解纳入多个降解的输入。如图9。
图9
（e）基于deep NN提供的先验重构框架
复杂的先验是高效的基于重构的SISR算法的关键，可以灵活地处理不同的情况。最近的研究表明，深度神经网络可以从两个方面提供良好的先验:深度神经网络的先验通过即插即用的方式提前学习数据和直接重建输出，利用了深度架构本身有趣但尚不清楚的先验。
IRCNN是最早解决SISR的，如图10。在IRCNN中，他们首先训练了一系列不同噪声水平的基于cnn的去噪器，并以反投影作为重构部分。首先在LR之前进行若干次反投影迭代，然后用CNN去噪器去噪，去噪效果随反投影一起降低。
图10
（f）具有内部示例的深层架构
ZSSR[是第一个将深层架构与内部示例学习结合起来的文献。在ZSSR中，除了用于测试的图像外，不需要额外的图像，所有用于训练的补丁都是从测试图像的不同退化对中提取的，如图11。
图11