attention结构理解。
attention结构理解。
一、概念
1.起源
2.定义。
注意力机制（Attention）没有特别严格的限制，只要是从画面大量信息中提取出有用的核心信息，就能算做是attention机制。
（比如传统的局部图像特征提取、滑动窗口等方法都可以看作是注意力机制。）
注意力机制通常是一个另外的一个神经网络，给输入的不同部分分配不同的权重。
3.意义
给重要的部分分配更大的权重，能够使模型的性价比更高。
注意力机制（Attention）没有特别严格的限制，只要是从画面大量信息中提取出有用的核心信息，就能算做是attention机制。
（比如传统的局部图像特征提取、滑动窗口等方法都可以看作是注意力机制。）
注意力机制通常是一个另外的一个神经网络，给输入的不同部分分配不同的权重。
给重要的部分分配更大的权重，能够使模型的性价比更高。