论文地址和代码

数据库和代码已公布：https://github.com/bcmi/Image_Harmonization_Datasets
论文地址：https://arxiv.org/abs/1911.13239

一.简介

图像合成 (image composition) 是图像处理的常用操作，把前景从一张图上剪贴下来粘贴到另一张图上，获得一张合成图。合成图可以用来获取感兴趣的目标图像，也可以用于数据增广，有着广泛的应用的前景。但通过这种方式得到的合成图存在诸多问题，比如前景的大小或位置不合理、前景和背景看起来不和谐等等。我们的工作侧重于解决合成图中前景和背景不和谐的问题。具体来说，在合成图中，前景和背景是在不同的拍摄条件 (比如时刻、季节、光照、天气) 下拍摄的，所以在亮度色泽等方面存在明显的不匹配问题。图像和谐化 (image harmonization) 旨在调整合成图中的前景，使其与背景和谐。

二.创新点

1.公开提供了高质量公共可用数据集
2.提出了一种使用新颖的域验证鉴别器的图像协调方法DoveNet， 该方法认为前景需要转换为与背景相同的域。（这里的域指的是光照，天气，季节等）

三.数据集构建

（a）图采用颜色转换的方法去构建合成图像，（b）图采用前后背景图拼接方法构建合成图像

四.DoveNet结构

4.1整体结构

DoveNet整体的一个结构采用了三个模型的连接，（a）Attention Enhanced Generator(U-Net加了一个attention模块)。（b）Global Discriminator(一个类似于GAN的Discriminator)。（c）Domain Verification Discriminator（域的一个Discriminator，这个域指的是光照，天气，季节等）

4.2 Attention Enhanced Generator

个人觉得作者的输入应该只有M~的图像，这个M二值图像只是一个区分前景和背景的展示


Lrec是这个网络的最小化损失函数是一个绝对误差损失

4.3 Global Discriminator

Attention Enhanced Generator网络生成的图像与真实图像一起放进网路训练，和训练GAN网络一样

4.4 Domain Verification Discriminator

这里也是个GAN网络

五.实验部分

5.1 实验结果对比展示

能看出来DovNet最终生成的图像和真实图像的域很像

5.2 不同模型同一数据集实验结果

5.3 消融实验：对模型结构进行分析

5.4 改变前景比例，对比各个模型的表现