Document Modeling with Gated Recurrent Neural Network
for Sentiment Classification

目录

• introduction
• method
• experiments
• conclusion and future work

introduction

篇章级情感分析存在一个问题：如何对句间的内在语义关系编码？

针对这个问题：
本文提出了一种神经网络学习连续文档表示用于情绪分类的方法。该方法是基于组合性原则：
第一步，用Word2Vec实现词嵌入；
第二步，使用CNN或LSTM从单词表示生成句子表示；
第三步，利用门控递归神经网络编码句子语义及其在文档表示中的内在关系。

method

该工作的总体结构图如图所示：

词向量的表示：
参考word2vec实现方案，并且用预训练词向量的方式以保留更多的语义信息。

句子表示：
CNN和LSTM模型都用于句子编码。分别使用宽度为1，2，3的卷积核去获取unigrams，bigrams和trigrams。为了得到句子的全局语义信息，作者随后接入一个average pooling layer，再接入tanh**函数，最后将整个句子的不同宽度卷积核的向量表示接入一个Average层，从而得到该句平均向量表示。结构图如下图所示：

文档表示：
将基本RNN改造成一种带有门控结构的RNN，这种方式类似于LSTM或者GNN，区别见下列转换函数。模型可以被看作是一个输出门永远打开的LSTM，对应输出门Ot=1，作者的想法是通过这种方式避免丢失任何可能携带语义信息的部分。


分类：

experiments

数据集：
来自IMDB 的一个电影评论数据集
来自Yelp dataset Challenge的三个餐厅评论数据集

实验设置：
损失函数：cross-entropy交叉熵
更新参数：反向传播，随机梯度下降
CNN卷积核width：1，2，3
词向量：200 dimensional，SkipGram
其他参数在区间（-0.01，0.01）内随机初始化。
学习率：0.03

评价指标：
准确性、均方误差

实验结果：

conclusion and future work

总结：
编码采用分层编码，先编码单句，再编码整个篇章，并且将隐层输出取Average，通过此方法可以较好的捕获句间语义信息。但用GRNN改进RNN，作者没有将GRNN与LSTM作对比试验，无法预知究竟这两种模型哪个表现会更好。

未来计划：
1、从一个角度来看，可以在论述树结构上编写文档表示，而不是按顺序编写。因此，递归神经网络和结构化LSTM 可作为合成算法。然而，现有的语篇结构学习算法难以适应大规模的网络复习文本。如何同时学习文档结构和合成功能是一个有趣的未来工作。
2、从一个角度出发，可以仔细定义一套情感敏感的话语关系，如“对比”、“条件”、“原因”等。然后，可以开发特定关系的门控式RNN，为每个关系显式建模语义组合规则。

论文原为链接：Document Modeling with Gated Recurrent Neural Network
for Sentiment Classification