Super-Resolution from a Single Image 的算法原理整理_初版

由于是从Word文档直接复制过来，其中格式如果乱码或者不通顺，请评论区告知我
后期整理的思维导图见https://blog.****.net/Lininggggggg/article/details/106499469

参考链接：
https://www.jianshu.com/p/54b6ab49c935
http://cs.brown.edu/courses/csci1950-g/results/final/pachecoj/

1、 简介

超分辨率是指输入一张低分辨率图像， 如 100100， 将其升高到高分辨率， 如 200200，
并且要求清晰度尽量不变。 即输出结果比输入有更多的信息， 是病态问题， 所以称为“超”
分辨率。
　　最开始超分辨率问题是用多张相似的低分辨率图像恢复成单张高分辨率图像； 后来发现
有局限性， 便提出了基于样例学习的方法， 即通过产生多个“低分辨率-高分辨率”图像对
并学习其中的对应关系； 最后， 本文将上述两种方法称为“Classical SR”和“Example-based
SR”， 并提出一个框架将它们整合在一起， 而且能够用于单张低分辨率图像到高分辨率图
像的恢复。

2、 举例分析（问题描述）

　　图像的自相似性： 即在同一张图片的不同尺寸下， 可以找到外观极其类似的图像块。
　　如图 1 中展示的， 在图 1 的左上角子图（即原图） 中的红框 A 是屋子的一个窗户； 而
在图 1 右下角子图（即低分辨率图像） 中， 之前的窗户 A 与现在低分辨率图中屋子的门 B 极
其相似。 于是， 作者认为找到了一个“低分辨率-高分辨率”图像对， 这样就能够利用相关信息
进行恢复。

3、 两种形式的恢复

第一种 Classical SR

　　图 2（a） 代表的过程就是 Classical SR 的过程， 即利用多张低分辨率图像的相同位置的
patch 来拟合成高分辨率图像中的对应区域。 对于低分辨率图像中的一点， 可以找到高分辨
率图像的一个 patch 进行对应。 该过程暂且可以写成一个线性的约束表达式：

　　当这些区域之间有重叠的时候， 就可以通过联立方程来求解。 这个就是 Classical SR 的一般
性求解过程（此方法需要多张低分辨率图像） ；
　　而加上前面提到的自相似性原理， 就可以只用单张低分辨率图像来实现 Classical SR 方
法了： 即对于低分辨率图像中的每个 patch， 用 ==NN ==找到该图像中相似的 patch， 然后映射
回高分辨率的感受野， 通过重叠部分的区域来联立方程， 进行求解， 如图 2（b） 。

第二种 Example-based SR

　　该方法和第一种方法类似， 即 Classical SR 方法是在同一个尺寸下找相似的 patch， 而
Example_based SR 是在不同尺寸下找相似的。
　　简单描述过程， 如图 3， 对于原图 I0 图像中的深绿色小块， 在它下两层的图像 I−2 中找
到了一个相似块， 该块对应回去在原图 I0 图像中对应的是浅绿色的一个“大块”。 那么就认为
在原图 I0 图像中找到了一对 example。 然后直接将它复制到 I2图像中与原图 I0 图像中的深
绿色小块的对应位置。（可以发现， 此处做了一个假设， 就是认为 example 之间的对应关系
不用学习， 直接复制就可以。）
　　然后整体的框架流程也如上图 3 所示， 对于输入的一张低分辨率 I0 图像， 结合 Classical
SR 和 Example_based SR 两种方法来恢复出高分辨率图像。
　　这里还有一个细节， 就是作者使用了一种 coarse to fine 的思想， 即对于高分辨率图像
（图 3 中的紫色部分） ， 也就是先恢复 I1图像， 然后对错误部分进行纠正（用 back projected） ；
然后继续恢复 I2图像， 再纠正， 直到恢复到 In 图像， 也就是需要的目标高分辨率图像 H 了。