Conditional GAN for Commonsense Machine Comprehension

问题

机器理解

判别器构造

句子表示网络和文章表示网络

句子表示网络使用GRU，并假设最后一个单词cell的hidden representation作为句子的表示。
文章表示网络使用的也是GRU，运用attention模型，如图所示，第四个句子有关键信息，因此在构建文章表示网络时格外注重这个句子。

生成器构造

与传统的GAN从随机噪声z来构造相比，在这篇论文中，context representation作为生成器附加输入。这样做的目的是使生成的句子必须与上下文相适应。
generator decoder：

其余改进：

• 使用Gumbel-softmax替代softmax+argmax
• 生成器并不是随机初始化的，而是使用ground truth预训练的
• 向辨别器中加入了微小的噪声以使生成器输出概率mass更平滑
• 如果G的loss比D大很多，更新G的参数就更频繁，反之亦然

Adversarial connective-exploiting networks for implicit discourse relation classification

问题

对隐含关系进行分类（抽取）：两个句子之间的话语关系是Cause，隐含关系推测的结果是Because。
目标是在不使用Discourse relation的情况下推测出implict relation。

对抗网络

• i-CNN的输入是原语句
• a-CNN的输入是原语句加上隐含关系（类似于生成器）
• 判别器D用于分辨出两个CNN的特征
• 分类器C和i-CNN最终用于关系预测

特别工作

为了使i-CNN和分类器所预测的结果尽可能的接近加上关系的a-CNN的结果，采取了零和博弈，预测模型在最小化误差的同时要使判别器D尽可能地难以区别两种模型的结果。

生成器

i-CNN:

Classifier: Softmax

判别器