阿里三部曲 DIN&DIEN&DSIN

展示广告：
DIN：
针对不同用户在不同的目标广告
✤ 局部相关性：只有部分兴趣和⽬标相关
✤ 反向**机制：只⽤关⼼和⽬标相关的兴趣，解决多样性问
使用固定长度的向量表达用户不同的兴趣是有局限性的–>局部**单元，可适应性地在给定广告的情况下从历史数据中提炼用户兴趣的表达
mini-batch aware regularizer，MBA正则化，避免大量参数的正则化运算和过拟合
数据适应性**函数，PReLU


Dice：

DIEN：
兴趣随时间变化
interest extractor layer extracts interest sequence based on behavior sequence; GRU+辅助loss
GRU与LSTM差不多，但参数少
辅助loss来源于全部的点击记录，而非针对目标广告，有利于避免梯度消失，将有点击的作为正样本，未点击的作为负样本
interest evolving layer models interest evolving process that is relative to target item。
AUGRU
用注意力机制得分控制update门，控制更新的程度和方向

DSIN：
以30分钟为间隔，分割sequence为session，同一session内是均匀的，不同session间有一定的pattern。
用户特征和广告特征embedding
用户行为：(1)sequence->session
(2) 提取session内的兴趣，偏差编码：序列顺序属性；multi-head 注意力机制：不同特征子空间间的关系
(3)不同session兴趣间的顺序等关系，Bi-LSTM
(4) 使用局部**单元赋予不同的权重
最后全连接进入MLP