Unified Dynamic Convolutional Network for Super-Resolution with Variational Degradations

这篇文章首先介绍了现有现有超分网络大多通过利用HR图像直接进行双三次插值下采样得到LR图像来构成数据集，但使用这种方式构造出的数据集训练出的网络，对真实世界的含模糊核和噪声的低分辨率图片，泛化能力较差，生成的HR图像质量不佳，因此人们又提出在下采样构造lr图像的同时引入模糊核和噪声，但这种方式构造的数据集训练的网络也只能泛化几种模糊核和噪声的组合仍无法泛化真实世界的图片， Learning a Single Convolutional Super-Resolution Network for Multiple Degradations这篇文章提出了一种能够很好的泛化不同组合的模糊核和噪声的方式，与利用模糊核和噪声对HR图像进行处理并下采样生成LR不同（只能泛化少量模糊核和噪声的组合），这篇文章选择将高斯模糊核和噪声等级以向量的方式进行拼接并拉伸到LR图像的维度大小，并作为先验与lr图像进行拼接输入网络进行训练，这样可以使网络自适应的组合出不同的噪声与模糊核的组合，从而在训练时增强对真实图片的泛化能力

由上图可知在拉伸阶段没有涉及到任何学习的过程（conv）都是固定的函数关系，因此真正使网络泛化各种组合的为训练阶段将拉伸到LR维度的模糊核与噪声等级作为先验进行训练的过程

而本文根据上述文章提出的问题进一步分析，现实世界的图片可能一张图片中不止有一个模糊核及一种强度的噪声有可能一张图片中各个区域的模糊核大小与噪声强度都不同，如下图模糊核大小越小模糊程度越高，噪声等级越高噪声越明显

这篇文章在此基础上提出模型来使网络能进一步泛化如上述图像所示的真实图片
这篇文章提出了利用动态卷积来训练网络从而解决上面提出的问题，为了提高对不同组合的模糊核和噪声的拟合能力采取与上文提到同样的方式将模糊核和噪声等级在 向量级上进行拼接后拉伸到LR同等大小，后将拼接后的富含模糊核和噪声信息的特征图输入深度特征提取曾（rdb）进行深层特征提取，在细化模块中，主要为了训练动态卷积，动态卷积与普通卷积的区别在于，普通卷积只在训练时参数会改变，而动态卷积训练与测试时参数都会改变，此处主要为训练动态卷积前面的卷积层使其具有能自适应生成动态卷积的能力，而正向传播中conv生成的是什么并不重要（conv生成的张量大小必须严格遵循（kk，w，h）即与LR图像的w与h相等），重要的是conv后生成的三维张量与原特征图之间的操作，例如当LR图像的像素点为（i，j），则也从三维张量的（i，j）位置取c通道上的所有元素构成一个向量即（kk，w，h）后将这个向量reshape成卷积核的样式（大小为kk的卷积核）对LR以像素点（i，j）为中心的kk个像素进行卷积，这样每一个像素点都对应了一个卷积核，后正向传播结束后通过反向传播使网络自适应的训练动态卷积前的conv，使其具有生成的三维张量有对图像卷积的能力。


后返回看总网络，其实细化模块就是利用前文得到的有模糊核和噪声信息的深层特征不断强化动态卷积，使动态卷积能够生成能提取含不同模糊核和噪声的特征图信息（因为生成的三维张量每一个（kk，1，1）都是一个卷积核，因此可以使网络考虑到每个像素点的模糊核和噪声信息），在细化网络中，第一个细化接收未拼接的低分辨率图像，分为两条支路，一条经过两层卷积与有模糊核信息和噪声信息的深层特征拼接，一条直接与后面得到的三维张量进行卷积操作，使网络通过反向传播使动态卷积前的conv学习到如何生成含模糊核和噪声的LR图像应对应的卷积，后不断利用相同的含模糊核和噪声信息的深层特征强化conv学习如何生成卷积核的功能

本文还提出了如何对含模糊核和噪声的真实图像进行上采样，与动态卷积类似

在kk的举出上变成了kkrr（因为亚像素需要将通道变成平方倍从而实现上采样所以增添了rr）