Decoders Matter for Semantic Segmentation

Decoders Matter for Semantic Segmentation.
这篇文章收录在CVPR2019。
由标题就知道：在语义分割中decoders很重要。decoder最主要的操作是上采样upsample，一般采取双线性插值（bilinear upsampling），但是作者认为双线性插值过于简单不是最优的方法，重点强调双线性插值 data-independent，双线性上采样不考虑每个像素的预测之间的相关性，因为它是数据独立的。于是提出了data-dependent upsampling (DUpsampling):

特征图每个点向量1×C，与CxN的矩阵W进行矩阵相乘，得到1xN这个向量，再将这1xN的向量reshape为2x2xN/4，就相当于把图上采样为原来的两倍。那么关键就在于这个矩阵W怎么得。
作者认为分割的label图像并不是独立同分布的，其存在结构信息，所以label Y可以几乎没有损失地进行压缩，或者说降维。这句话我不是很懂。。于是作者将labelY进行压缩，然后用原本特征图直接与其计算loss。关键是W怎么得到的：





将Y以r x r为size等分，分别把他们拉成一个向量v，在这个向量上做一个压缩，再reshape成原本形状，形成压缩后的label图 Y·。将向量乘以一个矩阵P进行压缩，要恢复再乘以P的逆映射矩阵W。