Next Item Recommendation with Self-Attention简介

Next Item Recommendation with Self-Attention

Introduction

文章介绍了一种新的神经序列推荐模型。可以学到长期与短期的序列表示。采用的是自注意力机制。

THE PROPOSED MODEL: ATTREC

Short-Term Intents Modelling with Self-Attention

输入：

query和key进行非线性转换：

计算相应的权重：

自注意力模块的输出：

简单的求平均作为短期embedding表示：

作者还提到了可以增加poistional embeddings，这主要是给输入加入时间信号以保持序列的形式，时间信号的计算如下：

User Long-Term Preference Modelling

利用用户与物品的距离来计算其感兴趣程度：

Model Learning

整体架构：

目标函数：

损失函数是基于pariwise的，从数据集中选取正例与负例：