论文阅读:A Deep Tree-Structured Fusion Model for Single Image Deraining
也是一篇轻量级的网络,简要梳理一下
2018 ArXiv:树状网络
也是傅雪阳的一篇文章,主要提出了一种树状的特征融合网络,文章使用扩张卷积作为基本块,同时减少了网络参数。
文章主要提出了一种基于特征融合的树状结构融合模型。
网络使用扩张卷积作为基本模块来捕捉雨的空间结构。
图像的相邻特征之间包含着大量的冗余信息,可以通过分层融合相邻特征来减少冗余。
可以有效地利用空间信息和内容信息来使模型更加紧凑。
关键词: 树状结构+扩张卷积+特征融合+减少参数
网络结构:
整体网络结构由一个特征提取层,八个扩张卷积模块和一个重建层组成。
由图可知,网络输入一个雨图 X,然后首先是进行特征图的提取,接着是一组8个扩张卷积模块形成树形结构,并不断进行特征融合,然后得到重建后的特征图,提取出估计的残差部分 R,最后得到去雨的图像Y。
具体实现:
1、网络组成
特征提取:
扩张卷积模块:
扩张卷积增加感受野,通过将同一个滤波器放大到不同的尺度来保持分辨率。为了减少参数的数量,我们在每个块中使用一个具有不同扩展因子的卷积核。计算得到各扩张卷积块内的多尺度特征:
WDF和b参数对于不同的扩展卷积是共享的。多尺度特征通过树状结构聚合来融合,生成单尺度特征。
使用跳跃连接来生成每个模块的输出:
2、树状特征融合
设计了一个树状结构的操作来融合相邻的特征,使用1×1卷积来允许网络自动执行这种融合。
融合:
其中Z1和Z2是具有相同维度的相邻特征,concat表示连接。Wfuse是一个大小为1×1的内核,用于融合Z1和Z2,融合后生成的Z与Z1和Z2的尺寸相同。
相邻特征融合减少冗余:
3、损失函数
损失函数采用了MSE和SSIM损失。
分页