深度学习: 注意力模型 (Attention Model)

Introduction

注意力模型,Attention Model 。

是根据人对画面 关注度权重 分布不均,而设计的一种新的深度学习模型。

注意力焦点

由下图可看出,人们会把注意力更多投入到人的脸部,文本的标题以及文章首句等位置:
深度学习: 注意力模型 (Attention Model)

运用

注意力模型最近几年在深度学习各个领域被广泛运用于 图像处理语音识别自然语言处理 等领域。


[1] 深度学习中的注意力机制
[2] 基于递归注意力模型的卷积神经网络:让精细化物体分类成为现实