自注意力机制的理解

分类: 文章 • 2024-11-24 18:21:46

自注意力机制的理解

自注意力机制的本质是计算跟自己相关的序列；target序列与source序列是一样的；

自注意力机制的目的是为了计算编码层输入序列的representation与编码层输入序列的reprenentation；换句话说是用来计算序列的representation；更直接来说，就是用来得到sentence representaions