在SRCNN和DRCN中，低分辨率图像都是先通过上采样插值得到与高分辨率图像同样的大小，再作为网络输入，意味着卷积操作在较高的分辨率上进行，相比于在低分辨率的图像上计算卷积，会降低效率。 ESPCN(Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network，CVPR 2016)提出一种在低分辨率图像上直接计算卷积得到高分辨率图像的高效率方法。

亚像素卷积层(sub-pixel convolutional layer)

ESPCN的核心概念是亚像素卷积层(sub-pixel convolutional layer)。如上图所示，网络的输入是原始低分辨率图像，通过两个卷积层以后，得到的特征图像大小与输入图像一样，但是特征通道为$r^2$r2($r^2$r2是图像的目标放大倍数)。将每个像素的$r^2$r2个通道重新排列成一个$r*r$r∗r的区域，对应于高分辨率图像中的一个$r*r$r∗r大小的子块，从而大小为$r^2*H*W$r2∗H∗W的特征图像被重新排列成$1*rH*rW$1∗rH∗rW大小的高分辨率图像。这个变换虽然被称作sub-pixel convolution, 但实际上并没有卷积操作。

总之亚像素卷积层包含两个过程，一个普通的卷积层和后面的排列像素的步骤。就是说，最后一层卷积层输出的特征个数需要设置成固定值，即放大倍数r的平方，这样总的像素个数就与要得到的高分辨率图像一致，将像素进行重新排列就能得到高分辨率图。

通过使用sub-pixel convolution, 图像从低分辨率到高分辨率放大的过程，插值函数被隐含地包含在前面的卷积层中，可以自动学习到。只在最后一层对图像大小做变换，前面的卷积运算由于在低分辨率图像上进行，因此效率会较高。

ESPCN**函数采用tanh替代了ReLU。损失函数为均方误差。

实验结果

重建效果上，用PSNR指标看来ESPCN比SRCNN要好一些。对于1080HD的视频图像，做放大四倍的高分辨率重建，SRCNN需要0.434s而ESPCN只需要0.029s。

参考博客

深度学习在图像超分辨率重建中的应用
深度学习用于图像超分辨率重建之ESPCN——超分辨率(七)