EDSR论文阅读
问题:
- 现有的遥感算法大多将不同尺度因子的超分辨视为独立问题,没有考虑和利用超分辨中不同尺度间的相互关系。这些算法需要许多特定于尺度的网络,这些网络需要被独立训练来处理不同的尺度。
改进的地方:
- 优化删除了传统剩余网络中不必要的模块。
- 产生新的多尺度结构。
好处:
- 在稳定训练过程的同时,通过扩展模型的大小进一步提高了性能。
- 本文还提出了一种新的多尺度深度超分辨率系统(MDSR)和训练方法,可以在单一模型中重建不同尺度的高分辨率图像。
- 简化的模型训练起来比较容易
模型:
这样消耗的内存比较少
思想:
提高网络模型性能的最简单方法是增加参数的数量。在卷积神经网络中,可以通过多层叠加或增加滤波器的数量来提高模型的性能。具有深度(层数)B和宽度(特征通道数)F的一般CNN架构大约占用O(BF)内存,参数为O(BF的平方)。因此,在计算资源有限的情况下,增加F而不是B可以使模型容量最大化。
但是,我们发现增加超过一定水平的feature map的数量会使训练过程在数值上不稳定。Szegedy等[24]报道了类似的现象。我们采用因子为0.1的残差尺度[24]来解决这个问题。在每个剩余块中,在最后一个卷积层之后放置常数尺度层。当使用大量的滤波器时,这些模块极大地稳定了训练过程。
在测试阶段,为了提高计算效率,可以将这一层集成到之前的卷积层中。
用2倍的放大模型去看看3倍的放大进行初始化
16个resblock
首先,预处理模块位于网络的前端,减少不同尺度输入图像的方差。每个预处理模块由两个5×5核的残块组成。采用较大的核作为预处理模块,可以在网络早期覆盖较大的接受域的同时,保持特定尺度的部分较浅。在多尺度模型的最后,将特定尺度的上采样模块并行放置,进行多尺度重构。上采样模块的架构类似于前一节中描述的单尺度模型。我们构建了最终的多尺度模型(MDSR)
B = 80 F = 64。3种不同尺度的单尺度基线模型各有大约150万个参数,总计450万个,而我们的多尺度基线模型只有320万个参数。然而,多尺度模型表现出与单尺度模型相当的性能。