SISR-250FPS实时性算法-OverNet | Lightweight Multi-Scale Super-Resolution with Overscaling Network

SISR实时性问题一直比较关注，之前的IMDN在速度方面还差那么一点。这篇文章号称达到250FPS，却没有跟IMDN比较，感觉很奇怪~
论文地址：https://arxiv.org/pdf/2008.02382.pdf

Abstract：

由于深度卷积神经网络（CNN）的发展，超分辨率（SR）取得了巨大的成功。但是，随着网络深度和宽度的增加，基于CNN的SR方法在实践中已面临计算复杂性的挑战。此外，它们中的大多数为每个目标分辨率训练的专用模型，从而失去通用性并增加了内存需求。为了解决这些局限性，我们提出OverNet，这是一个深层但轻量级的卷积网络，可通过一个模块以解决SISR中任意比例因子的问题。我们做出了以下贡献：首先，我们引入了轻量级的递归特征提取器，该提取器通过跳过和密集连接的新颖递归结构来强制信息的有效复用。其次，为了最大程度地发挥特征提取器的性能，我们提出了一种重建模块，该模块可从超尺度特征图生成准确的高分辨率图像，并可独立用于改进现有架构。第三，我们引入了多尺度损失函数以实现跨尺度的泛化。通过广泛的实验，我们证明了在标准基准测试中，我们的网络性能优于以前的最新结果，同时使用的参数比以前的方法少。

Introduction：

现有基于深度网络的SISR算法主要有以下缺点：

1.网络深度和宽度的增加极大地增加了计算需求和内存消耗。 这使得现代架构在实践中不太适用，例如移动和嵌入式视觉应用

2.随着网络深度的增加，低阶特征信息在连续的非线性运算中逐渐消失以产生输出。 但是，这些低阶特征对于网络重建高质量图像至关重要

3.现有算法对于特定SR尺度因子（如2x,3x,4x）需要训练专用模型，而没有合理的模型应对任意比例因子的模型

为了解决这些问题，我们提出了Overscaling Network（OverNet），这是一种用于SISR的新型轻量级方法。 OverNet由两个主要部分组成：轻量级特征提取器和称为Overscaling模块（OSM）的重建模块。其中创新主要有3点：轻量级特征提取器，Overscaling模块和multi-scale loss function。

Overscaling Network：

如上图所示，OverNet主要包含Feature Extractor和Overscaling Module模块，通过Arbitrary Scale Factors解决任意尺度问题。

A.Feature Extractor：
没有什么好说的，就是以Residual Block+Channel Attention 为basick block，再利用密集连接的方式组成Group。最后同样适用密集连接3个Groups的方式组成。

B.Overscaling Module：
特点是先生成一个overscaled特征图，设置尺度为S+1，其中S是目标尺度。操作流程为：
1.对特征提取的的特征图I-L，使用3x3卷积和pixelshuffle上采样为4+1倍特征图I-OHR
2.对I-OHR使用3x3卷积和Bicubic下采样为目标尺度图像
3.对输入低分辨率图像I-LR进行Bicubic上采样与2中结果相加

C.Multi Scale Loss：
对应图中的Arbitrary Scale Factors，将生成的4X图像结果下采样到1.1-3.9倍尺度因子的多组结果，应用损失函数，这里也就实现了单个模型生成任意尺度结果的功能：

好处：与单尺度训练相比，在不同目标尺度上具有这种多尺度损失的训练同时为模型提供了额外的监督。 结果，强制执行该模型以学习如何生成高度代表性的超尺度特征图，从中可以准确地恢复任意比例的HR图像，从而增强了网络在各个比例上的泛化能力。

Experiments：

效果好，速度快，实现也比较简单！