FG2020 | 软门控信号优化shortcut

https://arxiv.org/pdf/2002.11098.pdf

1.优化shortcut

现有的很多优秀的人体姿态估计网络都用到了类似Hourglass框架，该架构由多个如下图所示的编码器+解码器组合而成，且该框架内部有一个约定是下图中的跳跃连接能够有效提升网络性能。而本文对这种跳跃连接进行了深入分析，并利用软门控信号的方式优化该连接，实现了精度的提升。

2.软门控信号

如上图所示，所谓的软门控信号就是在每个跳跃连接的过程中，加入一个和输入通道维度相同的向量组，该向量组中的每一个标量值代表了当前输入通道的重要性，并且这些标量值都是可学习的，随着迭代的进行，通过更新这些标量值可以获取更好的跳跃连接机制。其实这和通道注意力机制非常的类似。

上图左边的公式对软门控信号的运行机制进行建模。公式中的阿尔法表示了软门控信号中的控制量。该控制量的使用，从上图右边的表中可以看出，对输入中的所有通道N都进行学习的效果是最好的。为了使得软门控机制这种操作的有效性更加直观，作者对中间参数特征进行了可视化统计，用以辅助理解软门控信号的优势。

上述两幅图展示了特征在进行门控机制前后的分布图。从图中可以看出，经过门控信号后，整体的特征根据靠近0，这说明原始的特征中有需要不重要的信号，而这种信号若是不进行门控，任由其传入到后续网络中，将会对最终的性能产生影响。

上图中蓝色直方图表示常规的跳跃连接后特征concat后的block特征分布，绿色直方图表示使用了软门控信号后再进行concat后的block输出特征分布。从特征分布可以看出，使用了软门控信号后仿佛对特征做了增强，使得特征更加具有辨别力。

3.结果展示

从上述结果和现在的实时排名[2020.05.14]，我们都可以发现这种简单的门控信号所带来的性能增益，其在MPII和LSP两个数据集上都达到了当前最优的性能。