Unsupervised Deep Image Fusion With Structure Tensor Representations

具有结构张量表示的无监督深度图像融合

来源：IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 29, 2020

作者：Hyungjoo Jung,  Youngjung Kim , Hyunsung Jang, Namkoo Ha, and Kwanghoon Sohn

介绍了一种用于图像融合的无监督深度学习框架——深度图像融合网络。DIF网络利用CNN将图像融合的整个过程参数化，包括特征提取、特征融合和图像重建。DIF网的目的是生成与高维输入图像具有相同对比度的输出图像。为了实现这一点，我们提出了一种利用多通道图像对比度的结构张量表示的无监督损失函数。与传统的融合方法需要耗时的优化或迭代过程来获得结果不同，我们的损失函数通过随机的深度学习求解器和大规模的例子来最小化。因此，所提出的方法可以产生融合图像，通过一个单一的前向网络训练，而不需要参考地面真值标签来保留源图像的细节。该方法对多光谱、多聚焦、多曝光等图像融合问题具有广泛的适用性。定量和定性评估表明，在各种应用中，所提出的技术优于现有的最新方法