Paper Reading -- 《Learning to Pay Attention on Spectral Domain:......》
1. Motivation
提出问题:
- 在高光谱影像分类任务中,所有的波段对CNN的贡献是否相同?
- 如果不相同,如何在端到端网络中找到有助于高光谱数据分类的波段?
- 是否可以通过强调网络中有用的波段和抑制网络中不太有用的波段来改善CNN的分类结果?
核心思想:将channel attention的思想转换为spectral attention
2. Structure of Model
-
总体结构
- 详细结构
图中红框部分为光谱注意力模型,输入高光谱数据尺寸为H×W×C,注意这里的C指的是波段数。其他的就和SE Block相同,首先全局平均池化,然后全连接,然后通过sigmoid输出每个波段的权重(0~1),最后与输入做element-wise multiply,得到重新标定波段后的高光谱数据。
-
interesting work
作者做了一个没有引入attention机制和引入后的对比,通过可视化可以直观地看到引入注意力机制后有一部分波段被抑制,很有可能这些波段在分类过程中引入了噪声,所以在抑制后能够提升网络的分类精度。
3. Datasets
- Indian Pines
- Pavia University
- Salinas
- Houston(Image Analysis and Data Fusion Technical Committee of IEEE GRSS in 2012)
数据集划分方式:每类随机选取相同数量或者相接近的数量,以避免类别不均衡的问题。
总结
attention机制真的很work!channel attention、spatial attention、spectral attention
似曾相识,按照剧本,下一步就是三者的结合了
参考之前写的这篇总结:经典网络结构总结–SENet系列
写在最后:作者的写作思路很强,值得借鉴!