老片影像修复-DeepRemaster

Paper:
DeepRemaster:Temporal Source-Reference Attention Networks for Comprehensive Video Enhancement
Project：http://iizuka.cs.tsukuba.ac.jp/projects/remastering/
code:https://github.com/satoshiiizuka/siggraphasia2019_remastering

这段时间B站上比较火的百年前的老北京的影像修复视频，今天解读这篇文章正是该修复技术背后的算法原理。
AI老片影像修复是是相对复杂的多子任务技术结合，包括视频超分辨技术，视频去燥，对比度增强，视频去模糊等，那么从黑白影像恢复彩色影像，需要视频着色。在这篇文章中，作者提出了一个半监督的单一端到端框架去处理诸多的子任务。这是论文中所给出复原后的结果。

1、Introduction
主要讲解Remastering老电影不是简单的使用去燥的算法，一般老电影会有模糊、低分辨率等情况，增加了处理问题的复杂性。作者提出一个single end-to-end framework去处理黑白影像。该方法基于全卷积网络，通过Source-reference attention机制，实现了比较好的结果。

2、Related Work
(1)Denoising and Restoration
经典方法：Block-Matching and 3D filtering(BM3D)
目前常用方法：Optical flow(光流) Transformer networks
(2)Colorization
黑白影像的着色：ill-posed problem
传统方法解决：解决输入灰度图和引导图的优化问题
近年来：

文中方法：A CNN with temporal convolutions and attention.

（3）Attention

注意力机制在视觉中的应用越来越广泛，需要了解更多注意力机制在视觉中的应用https://mp.weixin.qq.com/s/ePZ7jH4pdEAW_trHWMAswQ
该论文使用：self-attention mechanism

3、Approach
(1) Source-Reference Attention

通过Source data和reference data，使模型探索原图和引导图之间的non-local similarites​。通过这种机制就可以使用引导图中的颜色去着色原图中的相似​区域。
定义source-reference attention layer:

该式即上图所示，比较好理解，需要解释的是，此处的es,er,et是编码函数，降低通道的数量，通过temporal convolution operators的111-pixel kernels实现​。d是解码函数，reshape the tensor​。图中C’=C/8​。
（2）Model

该模型主要是两部分：
A preprocessing network和A source-reference network，实现端到端的训练。
Pre-Processing Network:
该部分使用encoder-decoder结构，由系列的卷积层组成，先下采样，再上采样。输入和输出之间使用Skip connection。该模块主要是移除原图像灰度图中的artefacts and noise.
Source-reference Network​：
该网络由两部分输入组成，一部分是Pre-Processing Network的输出，另一部分是任意数量的Reference Images作为输入。 Source-reference attention使用引导图的颜色信息来间接控制原图的着色；​self-attention使得non-lacal temporal information来增加序列着色的一致性。
通过上图，首先输入视频和引导图分三阶段降低至1/8，然后分成两个branches:一部分直接对1/8图处理，另一部分降低分辨率至1/16。两个分支都使用source-reference attention layer、temporal convolution layers、self-attention layers.最后通过decoder通过三阶段上采样得到最终结果。

4、Training
文章第四部分主要是损失函数的设计以及作者使用数据增强等技术来提高修复质量。
损失函数：

P：预处理模型结果
yl：彩色图像的亮度图
S：source-reference model结果
yab:Lab颜色空间的色度图
文章最后对比试验结果，可以看出修复效果有很大的提升。

通过阅读文章，我觉得值得学习的地方是如何把注意力机制很好的运用到影像修复中，而且整个网路是端到端的训练​。