形变卷积(Deformable Convolution)原理

  形变卷积的概念提出自论文:Deformable Convolutional Networks
  顾名思义,形变卷积的是相对于标准卷积的概念而来,在标准卷积操作中卷积核作用区域始终为中心点周围标准卷积核大小的矩形区域内(如下图a所示),而形变卷积则可以是不规则的区域(如下图b,c,d所示,其中b的偏置量随机;c,d为特例)。


形变卷积(Deformable Convolution)原理

  形变卷积的实现方法如下图所示:


形变卷积(Deformable Convolution)原理

  各个部分的维度信息如下:
    input feature map:(batch, H, W, C)
    output feature map: (batch, H, W, N)
    offset field:(batch, H, W, 2N)
  offset field通过在原图上进行标准卷积操作得到,通道数为2N表示N个2维的偏置量xy(△x,△y),N表示卷积核的个数即输出特征层的通道数。形变卷积过程可以描述为:首先在输入feature map上进行标准卷积得到N个2维的偏置量xy(△x,△y),然后分别对输入feature map上各个点的值进行修正(设feature map为PP,即Pxy=Px+xy+yP(x,y)=P(x+△x,y+△y),当x+xx+△x为分数时,使用双线性插值计算Px+xy+yP(x+△x,y+△y))。形成N个feature map,然后使用N个卷积核一一对应进行卷积得到输出
  标准卷积与形变卷积的计算效果如下图所示:


形变卷积(Deformable Convolution)原理