【文献阅读】A2-Nets: Double Attention Networks

原文链接：https://arxiv.org/abs/1810.11579

---

学习捕获长距离关系是图像/视频识别的基础。现有的CNN模型一般依赖于增加深度来对这种关系进行建模，效率非常低。作者提出了“双注意力块”，这是一种新的组件，它从输入图像/视频的整个时空空间中聚集和传播信息的全局特征，使后续的卷积层能够有效地从整个空间访问特征。该组件设计为两步双注意机制，第一步通过二级注意池将整个空间的特征集合成一个紧凑的集合，第二步通过另一个注意力自适应地选择和分配特征到每个位置。

CNN天生就受到卷积运算的限制，卷积运算致力于捕获局部特征和关系，并且在建模长距离相互依赖关系方面效率低下。虽然叠加多个卷积算子可以扩大接受域，但在实践中也存在一些不利的问题。

1. 将多个操作符叠加在一起，使得模型变得不必要的深和大，导致更高的计算和内存成本，增加了过度拟合的风险；
2. 远离特定位置的特征在影响正向传播和反向传播的位置之前，都要经过一层堆栈，增加了训练过程中的优化难度；
3. 远处可见的特征实际上是后面几层的“延迟”的，导致了低效的推理。

作者提出的A2-Net的核心思想是首先将整个空间的关键特征收集到一个紧凑的集合中，然后自适应地将其分布到每个位置，这样后续的卷积层即使没有很大的接收域也可以感知整个空间的特征。
第一级的注意力集中操作有选择地从整个空间中收集关键特征，而第二级的注意力集中操作采用另一种注意力机制，自适应地分配关键特征的子集，这些特征有助于补充高级任务的每个时空位置。

A2-Net与SENet、协方差池化、Non-local、Transformer有点类似，但是不同点在于它的第一个注意力操作隐式地计算池化特征的二阶统计，并能捕获SENet中使用的全局平均池化无法捕获的复杂外观和运动相关性；它的第二注意力操作从一个紧凑的袋子中自适应地分配特征，这比 Non-local、Transformer中将所有位置的特征与每个特定位置进行穷举关联更有效。

主要贡献如下：

1. 提出了一个通用的公式，通过通用的收集和分布函数来捕获长期的特征相关性
2. 提出了一种用于收集和分布长距离特征的双注意块，它是一种有效的二次特征统计和自适应特征分配的体系结构。该块可以用较低的计算和内存占用来建模长期的相互依赖关系，同时显著提高图像/视频识别性能
3. 通过广泛的消融研究来调查提出的A2-Net的影响，并通过与当前技术水平的比较来证明它在图像识别和视频动作识别任务的一些公共基准上的优越性能

---

方法

设$X\in \mathbb{R}^{c \times h \times w}$X∈Rc×h×w为输入，每个位置$i=1, \cdots,hw$i=1,⋯,hw的特征为$v_i$vi​，定义
$z_i=F_{distr}(G_{gather}(X),v_i)$zi​=Fdistr​(Ggather​(X),vi​)
为输出：首先收集整个空间的特征，然后将其分配回每个输入位置$i$i，同时考虑该位置的局部特征$v_i$vi​。

这种先$gathering$gathering再$distributing$distributing的想法源于SENet，而SENet在收集过程中使用$global \space average \space pooling$global average pooling而产生的单个全局特性被分发到所有位置，忽略了位置之间的不同需求。
而A2-Net中，更复杂的全局关系可以被一组紧凑的特征所捕获，每个位置可以接收其自定义的全局信息，这些信息与现有的局部特征相辅相成，有助于学习更复杂的关系。

Feature Gathering

与只计算一阶统计量的传统平均池化和最大池化相比，双线性池化能更好地捕捉和保持复杂关系。
双线性池化就是将两张输入特征图$A$A和$B$B里的特征向量对$(a_i,b_i)$(ai​,bi​)做外积并相加：
$G_{bilinear}(A,B)=AB^T=\sum_{\forall i}a_i b_i^T$Gbilinear​(A,B)=ABT=∀i∑​ai​biT​
其中，$A=[a_1,\cdots,a_{hw}] \in \mathbb{R}^{m \times hw}$A=[a1​,⋯,ahw​]∈Rm×hw；$B=[b_1,\cdots,b_{hw}] \in \mathbb{R}^{n \times hw}$B=[b1​,⋯,bhw​]∈Rn×hw。在CNNs中，$A$A和$B$B可以是同层出来的特征图$A=B$A=B；也可以是两个不同层出来的特征图$A=\phi(X;W_{\phi})$A=ϕ(X;Wϕ​)，$B=\theta(X;W_{\theta})$B=θ(X;Wθ​)，$W_{\phi}$Wϕ​和$W_{\theta}$Wθ​是参数。

通过引入输出变量$G=[g_1,\cdots,g_n]\in \mathbb{R}^{m \times n}$G=[g1​,⋯,gn​]∈Rm×n并且重写第二个特征$B=[\bar{b}_1,\cdots,\bar{b}_n]$B=[bˉ1​,⋯,bˉn​]，$\bar{b}_i$bˉi​是一个$hw$hw维的行向量，输出为
$g_i=A \bar{b}_i^T=\sum_{\forall j}\bar{b}_{ij}a_j$gi​=AbˉiT​=∀j∑​bˉij​aj​
上述公式不仅是计算二阶统计量，输出$G$G实际上是一个视觉基元包，每个基元$g_i$gi​是通过收集局部特征用$\bar{b}_i$bˉi​加权得到的；$j$j为特征图上的位置；$i$i为不同的$Attention \space Maps$Attention Maps。

进一步将$softmax$softmax应用于$B$B，$\sum_j \bar{b}_{ij}=1$∑j​bˉij​=1，可得到二阶注意力池化过程为
$g_i=A \space softmax(\bar{b}_i)^T$gi​=A softmax(bˉi​)T
令$A=\phi(X;W_{\phi})$A=ϕ(X;Wϕ​)，$B=softmax(\theta(X;W_{\theta}))$B=softmax(θ(X;Wθ​))，$X$X为输入的特征图。

Feature Distribution

从整个空间中收集特征后的下一步是将它们分布到输入的每个位置，这样即使使用很小的卷积核，后续的卷积层也可以感知全局信息。
不像SENet那样将相同的全局特性分布到所有的位置，而是在每个位置上根据特征$v_i$vi​的需要分布一个自适应的视觉基元包来获得更大的灵活性。
这是通过$soft \space attention$soft attention从$G_{gather}(X)$Ggather​(X)中选择一个特征向量子集来实现的：
$z_i=\sum_{\forall j}v_{ij}g_j=G_{gather}(X)v_i,\space where \space \sum_{\forall j}v_{ij}=1$zi​=∀j∑​vij​gj​=Ggather​(X)vi​, where ∀j∑​vij​=1
$V=softmax(\rho(X;W_{\rho}))$V=softmax(ρ(X;Wρ​))，其中$W_{\rho}$Wρ​为参数。

The Double Attention Block

将上面两个注意步骤结合起来，形成双注意块里模块：
$\begin{aligned} Z & =F_{distr}(G_{gather}(X), V) \\ & = G_{gather}(X)softmax(\rho(X;W_{\rho})) \\ & = [\phi(X;W_{\phi})softmax(\theta(X;W_{\theta}))^T]softmax(\rho(X;W_{\rho})) \end{aligned}$Z​=Fdistr​(Ggather​(X),V)=Ggather​(X)softmax(ρ(X;Wρ​))=[ϕ(X;Wϕ​)softmax(θ(X;Wθ​))T]softmax(ρ(X;Wρ​))​