深度学习上采样
主要有三种:
-
插值:最邻近插值、双线性插值、三两次插值等
-
反卷积(转置卷积 ):其实就是在每个元素之间先填充0再卷积
反卷积也称为转置卷积,如果用矩阵乘法实现卷积操作,将卷积核平铺为矩阵,则转置卷积在正向计算时左乘这个矩阵的转置WT,在反向传播时左乘W,与卷积操作刚好相反,需要注意的是,反卷积不是卷积的逆运算。
一般的卷积运算可以看成是一个其中非零元素为权重的稀疏矩阵C与输入的图像进行矩阵相乘,反向传播时的运算实质为C的转置与loss对输出y的导数矩阵的矩阵相乘。
逆卷积的运算过程与卷积正好相反,是正向传播时做成C的转置,反向传播时左乘C
用途:实现上采样;近似重构输入图像,卷积层可视化。
-
反池化
- 反平均池化(反向传播时均匀传播)
- 反最大池化(要求在池化过程中记录最大**池的坐标位置,反向传播时仅将误差沿着记录的位置传递 )