Attention小结

[Encoder–Decoder Model](#Encoder–Decoder Model)

[Attention Mechanism](#Attention Mechanism)

References

---

Encoder–Decoder Model

在论文1中提出了一种用来处理机器翻译任务的新模型 Encoder–Decoder Model 。

[外链图片转存失败(img-mzXcN5Vl-1567470086699)(./pics/encoddecod.png)]

• 编码器将输入源语言句子 $x = (x_1 ,...,x _T)$x=(x1​,...,xT​) 编码为一个固定长度的语义向量 C。

  $h_t = f (x_t , h_{t−1})$ht​=f(xt​,ht−1​)

  $C = h_T$C=hT​

• 解码器翻译每个词时，语义向量 C 都会参与其中的计算。

  $s_t = g(s_{t-1}, y_{t-1}, C)$st​=g(st−1​,yt−1​,C) ，其中 $s_{t}$st​ 是解码器中RNN在 $t$t时刻的隐状态

不过该模型有明显的缺点：

• 固定长度的语义向量无法完全表达整个源语言句子的信息。
• 随着源语言句子长度的增加，由于向量长度固定，先前编码好的信息会被后来的信息覆盖，丢失很多信息。
• 语义向量参与到解码器中每个词翻译的计算时，无法着重表达出每个词对应翻译后的词的重要度。

Encoder–Decoder Model 中的编码器和解码器一般不是固定的，可以为 RNN、CNN、Attention。

---

Attention Mechanism

为了解决以上的几个问题，论文2中在Encoder–Decoder Model的基础上提出了一种新的对齐机制，也就是注意力机制，该文章提出的为 Soft-Attention，当然也是用在机器翻译任务中。

[外链图片转存失败(img-SLbKcGMS-1567470086701)(./pics/softatten.png)]

• 论文中将编码器解码器都换成了双向RNN，这样能更好的捕获长句子的信息。
• 对于target中的每个 $y_i$yi​ 的产生，会产生不同的语义向量 $C$C 参与计算。

对与第二点语义向量 $C_i$Ci​ 的产生，以下详细说明。

• 假如在解码器 $t$t 时刻，要得到结果 $y_t$yt​ ，公式如下：

  $y_t = g (y_{t - 1}, s_{t - 1}, C_{t })$yt​=g(yt−1​,st−1​,Ct​) ，其中 $C_{t }$Ct​ 就是图中的加号产生的结果，具体计算如下：

  $C_t = \sum_{i=1}^{T} \alpha_{t, i} * h_i$Ct​=∑i=1T​αt,i​∗hi​

  没错有没有发现 $\alpha_{t, i}$αt,i​ 就像是 $h_i$hi​ 的权重，而 $C_t$Ct​ 就像 $h_i$hi​ 的加权和。

• 那么，$\alpha_{t, i}$αt,i​ 又是怎么产生的？

  在训练到 $y_t$yt​ 时，用 $s_{t-1}$st−1​ 与源语言句子中输入的每一个词 $x_i$xi​ 的隐向量 $h_i$hi​ 进行余弦相似度计算，相当于求与每个输入词的相似度，经过 $Softmax$Softmax 转换成分数，结果就是得到 T 个 $\alpha_{t, i}$αt,i​ 。其实论文中使用了 一个 feedforward neural network 作为相似度比较方法。

  计算公式：

  $e_{t, i} = Score(s_{t-1}, h_i) = FNN(s_{t-1}, h_i)$et,i​=Score(st−1​,hi​)=FNN(st−1​,hi​)

  $\alpha_{t,i} = \frac{exp(e_{t,i})}{\sum_{k=1}^{T}exp(e_{k,i})}$αt,i​=∑k=1T​exp(ek,i​)exp(et,i​)​

很多文章把 Attention机制看作是查表操作，如下图所示：

Query 是 $s_{t-1}$st−1​ ，Key和Value相同，代表每一个 $h_{i}$hi​ 。通过计算Query和各个Key的相似性，得到每个Key对应Value的权重 $\alpha$α，然后对Value进行加权求和，即得到了最终的Attention数值，即 $C_i$Ci​ 。

Attention的整体计算流程如下：

还有一种 Self-Attention，这个在 Transformer模型中介绍。

---

References

Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation

Neural Machine Translation by Jointly Learning to Align and Translate

ine Translation

Neural Machine Translation by Jointly Learning to Align and Translate

深度学习中的注意力机制