DIEN——biji
是 DIN 的升级版，共分为三层，用户行为层，用户兴趣抽取层，用户兴趣演化层.
用户行为层
用户兴趣抽取层
为了将用户兴趣学习的更加充分，加入了额外 loss，h(t)和e(t+1),e(t+1)`，构建正负样本，类似于多目标的学习。
用户兴趣演化层
为了学习用户和候选item的关系，加入了 attention 机制，Attention + GRU的实现这里给了三种方法：
GRU with attentional input(AIGRU):
将抽取层的 h_t 与 weight 相乘直接作为 演化层 GRU 的输入
Attention based GRU(AGRU):
用 attention weight 替代 GRU的更新门，直接修改 hidden 层为
AGRU 弱化不相关的兴趣
GRU with attentional input(AIGRU):
虽然 AGRU 将 attention score 用于控制 hidden 层的更新，但是用一个数值替换一个向量，会忽略很多信息，这里将attention score 作用到控制 hidden 层更新的 GRU 更新门上。