Guided Deep Decoder: Unsupervised Image Pair Fusion

摘要：

提出了一个有指导的深度编码器网络作为一般先验。所提出的网络由两部分组成：1、利用引导图像的多尺度特征的编码器-解码器网络。2、产生输出图像的深度解码器网络组成。这两个网络由特征细化单元连接，以将引导图像的多尺度特征嵌入到深度解码器网络中。所提出的网络允许在没有训练数据的情况下以无监督的方式优化网络参数。

符号表示：

低分辨率或有噪声的输入图像、guidance图像C  W和H分别表示通道数 图像宽度 和图像高度、相应的输出、深度引导解码器GDD、

GDD：

GDD由一个带跳跃连接的编解码器网络和一个深度解码器网络组成，如图2所示。编解码器网络类似于U-net的结构，并在多个尺度上产生制导图像的特征。多尺度特征代表了制导图像从低到高的层次语义特征。在深度解码器中，利用语义特征来指导参数估计。

 

上采样细化单元(URU)

URU合并了一个注意门，用于在深度解码器中对上采样和通道式归一化后得到的特征进行加权。制导图像的特征由1 × 1卷积(Conv)、泄漏校正线性单元(泄漏率)和sigmoid**层(Sigmoid)选通，以保持特征的空间局部性并生成条件权重。给定深度解码器F的特征，转换如下进行:

 

特征细化单元(FRU)

FRU与URU的不同之处在于深度解码器的特征由制导图像的高级语义特征加权。FRU促进与引导图像特征的语义对齐，而URU促进相似的空间局部性。使用注意门，高级特征由1 × 1卷积、泄漏整流线性单元和sigmoid**层选通，以生成条件权重。FRU将深度解码器的功能转换如下:

深度解码器的特征在URU和FRU被加权，提供深度先验，更明确地利用引导图像的空间细节或语义特征。

损失函数：

HS超分辨率：

全色锐化：

去噪：