Fusion Convolutional Attention Network for Opinion Spam Detection(ICONIP 2019)

Fusion Convolutional Attention Network for Opinion Spam Detection(ICONIP 2019)

contribution：

1. 本文设计了一个层次化网络来自动学习语义表达和用户信息。不需要手动设计特征并且不受数据集限制
2. 本文提出了融合注意力集之来融合user-word和user-sentence特征
3. 实验表明本方法在四个数据集上取得了较大的提升

模型：

D：review dataset

U:user’s meta datas

分类函数：

3.1user representation

3.2text representation

作者将每个文档分成L个句子，每个句子包含T个词。首先使用卷积核

一个句子得到的表达为：

然后用m个filter得到多个feature vectors

3.3word-user fusion attention layer

为了在word level学习user-aware的文本表达，作者提出word-user fusion attention来把用户信息结合到word-level的向量

是T-h+1份user representation的copy。$W_e \in R^{m \times m}，W_u \in R^{m \times m} $是权重矩阵，然后我们得到了user-ware的word representation $Z \in R^{(T-h+1) \times m}$Z∈R(T−h+1)×m.

从用户的角度来看，不是所有的单词对于用户的偏好反应都是相等的，因为用attention layer来捕捉不同词的重要程度。

where $W_z \in R^{m \times n}$Wz​∈Rm×n,$V \in R^{(T-h+1) \times n}$V∈R(T−h+1)×n是学习的参数，$v_w \in R^{n \times 1}$vw​∈Rn×1是一个context vector。训练过程中这个词向量的初始化是随机的并且是同时学习的。最后得到句子向量 $s^{(h)} \in R^m$s(h)∈Rm是不同word representation的加权表达

CNN重我们设置卷积核大小$h \in {3,4,5}$h∈3,4,5，因此得到
,where $s \in R^{3m}$s∈R3m

3.4 sentence-user fusion attention layer

经过句子编码之后，文档矩阵可以被表示为

为了加强用户信息的影响，sentence-aware fusion attention用于抓取user-aware的重要句子并通过加权求和得到文档表达。

是权重矩阵，$M \in R^{L \times m}$M∈RL×m是S的hidden representation,$v \in R^{m \times1}$v∈Rm×1是context vector

3.5 spam classification

loss function

overall loss function

4.实验

数据集介绍：

与baseline对比

ablation study