深度学习中的各种卷积
1.卷积
卷积运算可以表示为，
为一个稀疏矩阵。神经网络中的正向传播就是转换成了这种矩阵运算。
反向传播时，首先我们已经从更深层的网络中得到，
2.反卷积（称为转置卷积更为合理）
转置卷积(Transposed convolutions)其实就是在正向传播时左乘，反向传播时左乘
，即
。转置卷积可以理解为中间运算矩阵被转置了的卷积。转置卷积的前向过程和反向过程正好和卷积的相反，实现的时候对调一下即可。
微步卷积(Fractionally strided convolutions)是转置卷积的一种，考虑padding和strides的多种情况详见
https://blog.csdn.net/u011276025/article/details/74979405
3.空洞卷积
空洞卷积（Atrous convolutions）又名扩张卷积（Dilated convolutions），向卷积层引入了一个称为“扩张率(dilation rate)”的新参数，该参数定义了卷积核处理数据时各值的间距。普通卷积就是扩张率为1的空洞卷积。
一个扩张率为2的3×3卷积核，感受野与5×5的卷积核相同，而且仅需要9个参数。在相同的计算条件下，空洞卷积提供了更大的感受野，因此经常应用在图像分割任务中。当网络层需要较大的感受野，但计算资源有限而无法提高卷积核数量或大小时，可以考虑空洞卷积。
4.深度分离卷积
5.分组卷积
分组卷积(Group convolutions)，最早在AlexNet中出现，由于当时的硬件资源有限，训练AlexNet时卷积操作不能全部放在同一个GPU处理，因此作者把feature maps分给多个GPU分别进行处理，最后把多个GPU的结果进行融合。 在ResNeXt中也有应用。
6.可形变卷积
Deformable convolutions