推荐系统与深度学习（三）——Attention机制原理
作者：livan
来源：数据python与算法
缘起
注意力机制模仿了人类观察事物的过程，将其应用到深度学习中，人观察事物会分为两个过程：扫描全局，获取重点关注区域；对重点关注区域深化研究，并抑制其他无用信息。
如上图，查看整个图形分两步：扫描重点文字，重点观看文字。
注意力机制沿用了这一思路：先通过一个深度学习框架，实现扫描重点信息的功能，将重点信息存储在一个中间网络中，然后再通过另一个深度学习框架解读并深化中间网络中的信息。这其中，最普遍的框架为：Encoder-Decoder框架。
注意力机制价值
注意力机制就是对输入的每个元素考虑不同的权重参数，从而更加关注与输入的元素相似的部分，而抑制其它无用的信息。其最大的优势就是能一步到位的考虑全局联系和局部联系，且能并行化计算。
注意力机制是一种思想的延展，并不是只能依附在Encoder-Decoder框架下的，而是可以根据实际情况和多种模型进行结合。
Encoder-Decoder机制原理
首先看一下Encoder-Decoder框架下的注意力机制，这一机制下涵盖了三个深度学习的框架，如下图：
Encoder部分、语义编码C部分和Decoder部分，这三部分的功能为：扫描重点信息、存储重点信息和深化重点信息。
数据流程为：
1） 原始数据(x1,x2,x3,x4)输入到Encoder中，Encoder主动将原始数据压缩；
2） 被压缩的数据统一存储到语义编码C中，语义编码C也是一个深度的神经网络；
3） 语义编码C中的数据传到Decoder中，再经过深度学习神经网络，将重要信息进行深化；
这一模型架构应用最多的是自然语言处理中，输入一个问题语句，经过提炼、深化之后确定出语义，然后输出下一句或者应该回答的语句，如下：
输入的是：“风云三尺剑”，输出的是下一语句：“花鸟一床书”。
注意力机制的原理
上面的Encoder-Decoder框架存在一个问题，即语义编码C以等概率的方式存储含有重要价值的各个特征，但实际上各个重要特征的重要性并不一致，比如：“风云三尺剑”中的“剑”在整体诗句中尤为重要，其他词语的权重就相对下降了。
为解决这一问题，在Encoder-Decoder框架的基础上引入了权重机制：即将一个语义编码C拆解成多个有不同权重的多个C1，C2，C3……，权重的大小决定了特征的重要性，如下图：
我们用一个案例来分析这一模型：
输入为一句英文：Tom chase Jerry
输出结果为：“汤姆”，“追逐”，“杰瑞”。
加入attention机制后，Encoder层的每一步输出都会和当前Decoder中的输出进行联立计算F(h1,Hi-1)，最后用softmax函数生成概率值，即为当下词语的权重，如下图：
用一个更完整的图表示为：
训练y1时，语义编码 C1 就是各个元素x按其重要程度加权求和得到的，同理，训练y2—C2也如此。
讲到这里，Attention机制清楚了吧～
前情回顾：
欢迎大家关注公众号：
◆ ◆ ◆ ◆ ◆
麟哥新书已经在京东上架了，我写了本书：《拿下Offer-数据分析师求职面试指南》，目前京东正在举行100-50活动，大家可以用相当于原价5折的预购价格购买，还是非常划算的：
点击下方小程序即可进入购买页面：
数据森麟公众号的交流群已经建立，许多小伙伴已经加入其中，感谢大家的支持。大家可以在群里交流关于数据分析&数据挖掘的相关内容，还没有加入的小伙伴可以扫描下方管理员二维码，进群前一定要关注公众号奥，关注后让管理员帮忙拉进群，期待大家的加入。
管理员二维码：
猜你喜欢
● 麟哥拼了！！！亲自出镜推荐自己新书《数据分析师求职面试指南》
● 你相信逛B站也能学编程吗
点击阅读原文，即可参与京东100-50购书活动