《Aspect-Level Sentiment Analysis Via Convolution over Dependency Tree基于依赖树卷积的方面级情感分析》阅读笔记

1.摘要

提出了一种基于依赖树卷积的方面级情感分析方法，以往的模型都是集中在利用神经网络的表达能力来进行ABSA任务的，忽略了诸如依赖树等重要的信息，这些资源可以缩小方面词和观点词之间的距离，使得依赖信息可以有效的保存在长句子中。因此，作者提出在依赖树的基础上进行神经网络的操作。

---

2. 介绍

ABSA包括两个子任务，本文重点研究方面级情感分类任务。

依赖树：

依赖树缩短了句子的方面和观点词之间的距离，捕捉了词与词之间的句法关系，为信息在树上的传播提供了有区别的句法路径。

此外，依赖树类似于图形的结构，可以在上面是用图卷积网络（GCN）。

提出了一个依赖树的卷积模型，它利用GCN通过依赖树来建模句子的结构，其中树的节点（单词）嵌入通过双向长短期记忆（bilstm）网络初始化。

通过以往的研究得出，BI-LSTM可以解释连续上下文之间的上下文信息，GCN通过沿着依赖树的语法路径对依赖关系进行建模增强嵌入。

---

3.模型

模型的输入依赖树，然后对依赖树进行字嵌入操作，通过BI-LSTM学习到上下文的信息（初始化树节点），然后通过GCN进一步增强嵌入。对GCN嵌入的结果，选取目标词部分进行平均池化操作。提取到一个向量嵌入之后用于分类任务。

---

BI-LSTM

给出了一个句子方面对（α，s），对于句子的输入 x = {x₁, x₂ , ……,x_n} ，处理后得到了字嵌入序列： s = {w₁, w₂ , ……,w_n} 和方面词嵌入序列 α = {α₁, α₂ , ……,α_l} 。

经过正向的LSTM后得到：

经过反向的LSTM后得到：

合并后得到双向的LSTM：

其中包含了方面项的表示：

---

图卷积网络

依赖树可以理解为一个有n个节点的图G，其中节点表示句子中的单词，编表示单词之间的句法依赖路径。通过BI-LSTM初始化依赖树上的节点信息。通过GCN直接对图进行操作，对单词之间的依赖关系进行建模。

注：为了使GCN能够有效地建模节点嵌入，我们允许G具有自循环。

任意句子的依赖树G可以表示为一个 n×n 的邻接矩阵 A ，其中 A_ij 表示节点 i 到节点 j 的单向的连接关系，如果等于1，则说明有依赖关系，如果等于0，则没有依赖关系。

GCN有效地利用依赖路径在路径间转换和传播信息，并通过聚合传播的信息来更新节点嵌入，在这种操作中，GCN只考虑节点的一阶邻域。然而，连续的k次GCN运算会导致信息在k阶邻域中的传播。单节点嵌入更新采用以下形式：

其中 h_j^(k) 表述GCN在第 k 层节点 j 的隐藏状态，其中 b^(k) 是偏移项，W^(k) 是参数矩阵。cⁱ 是一个规范化常数。

d_i 表示图的度数。

h_i^(k+1) 表示的是节点 i 在第 k 层的输出。

---

聚合器

使用平均池来聚合方面向量上的信息

---

模型训练

将最后得到的方面级向量表示 h_α^(k+1) 传递到一个softmax层，输出是不同情绪极性的概率表示。

该模型通过反向传播进行端到端的训练，目的是最小化损失函数。

其中D是方面-句子对集合，C是情感类的集合。y_c((α，s)) 是方面项真实的情感，y_c((α，s)) 冒 是预测的情感。

4.实验

训练集：

实验结果：

GCN层数对实验结果的影响：