深度学习中的attention机制

一、Attention机制剖析

1、为什么要引入Attention机制？
根据通用近似定理，前馈网络和循环网络都有很强的能力。但为什么还要引入注意力机制呢？

• 计算能力的限制：当要记住很多“信息“，模型就要变得更复杂，然而目前计算能力依然是限制神经网络发展的瓶颈。
• 优化算法的限制：虽然局部连接、权重共享以及pooling等优化操作可以让神经网络变得简单一些，有效缓解模型复杂度和表达能力之间的矛盾；但是，如循环神经网络中的长距离等问题，信息“记忆”能力并不高。
  可以借助人脑处理信息过载的方式，例如Attention机制可以提高神经网络处理信息的能力

2.Attention机制有哪些？（怎么分类？）
当用神经网络来处理大量的输入信息时，也可以借鉴人脑的注意力机制，只选择一些关键的信息输入进行处理，来提高神经网络的效率。按照认知神经学中的注意力，可以总体上分为两类：

• 聚焦式（focus）注意力：自上而下的有意识的注意力，主动注意——是指有预定目的、依赖任务的、主动有意识地聚焦于某一对象的注意力；
• 显著性（saliency-based）注意力：自下而上的有意识的注意力，被动注意——基于显著性的注意力是由外界刺激驱动的注意，不需要主动干预，也和任务无关；可以将max-pooling和门控（gating）机制来近似地看作是自下而上的基于显著性的注意力机制。
  在人工神经网络中，注意力机制一般就特指聚焦式注意力

3.Attention机制分类：
总的来说，Attention就是区域权值学习问题

• Hard-attention，就是0/1问题，哪些区域是被 attentioned，哪些区域不关注
• Soft-attention，[0,1]间连续分布问题，每个区域被关注的程度高低，用0~1的score表示

4.论文分享：

（1）Non-local NN, CVPR2018
FAIR的杰作，主要 inspired by 传统方法用non-local similarity来做图像降噪
主要思想也很简单，CNN中的 convolution单元每次只关注邻域kernel size的区域，就算后期感受野越来越大，终究还是局部区域的运算，这样就忽略了全局其他片区（比如很远的像素）对当前区域的贡献。
所以 non-local blocks 要做的是，捕获这种 long-range 关系：对于2D图像，就是图像中任何像素对当前像素的关系权值；对于3D视频，就是所有帧中的所有像素，对当前帧的像素的关系权值。
网络框架图也是简单粗暴：


（2）Interaction-aware Attention, ECCV2018 （美图）
这文章扯了很多 Multi-scale 特征融合，讲了一堆 story，然并卵；直接说重点贡献，就是在 non-local block 的协方差矩阵基础上，设计了基于 PCA 的新loss，更好地进行特征交互。作者认为，这个过程，特征会在channel维度进行更好的 non-local interact，故称为 Interaction-aware attention

整体的Attention Block框架图和 non-local 基本一致：

有点小区别是，在 X 和 Watten 点乘后，还加了个 b 项，文中说这里可看作 data central processing (subtracting mean) of PCA

动作识别的主网络就与non-local中直接使用 I3D 不同，这里是使用类似 TSN 的采样Segment形式输入，然后使用2D网络提特征，再统一在Attention block进行时空聚合
（3）CBAM: Convolutional Block Attention Module, ECCV2018
这货就是基于 SE-Net [5]中的 Squeeze-and-Excitation module 来进行进一步拓展，
具体来说，文中把 channel-wise attention 看成是教网络 Look 'what’；而spatial attention 看成是教网络 Look ‘where’，所以它比 SE Module 的主要优势就多了后者
SE-module：

CBAM ：

（4）DANet
主要思想也是上述文章 CBAM 和 non-local 的融合变形：

把deep feature map进行spatial-wise self-attention，同时也进行channel-wise self-attetnion，最后将两个结果进行 element-wise sum 融合

参考：
[1]https://www.zhihu.com/question/68482809/answer/597944559
[2]https://zhuanlan.zhihu.com/p/44031466