High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis
1. Motivation
- 传统的方法假设图像中不同的patch之间的相似性高;
- 生成图像的纹理细节不好,且不能处理高分辨率的图像。
2. Approach
2.1 Network Structure
网络分为两部分,Conten Network和Texture Network。Conten Network采用编码和解码结构,用于生成高级的语义结构;Texture Network用来生成纹理细节。
2.2 Loss function
- The Joint Loss Function:
- The Content Network:
3. Discussion
这篇文章中Conten Network可以在语义和整体结构上提供很强的先验知识,Texture Network也可以很好的生成一些细节。但是这篇文章中的方法不能处理复杂的情景,下图展示的是一些失败的例子,此外运行的时间较长。
4. References
【1】Yang, Chao, et al. "High-resolution image inpainting using multi-scale neural patch synthesis." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017.