[NLG] A Context-aware Natural Language Generator for Dialogue Systems

总述:

16年的文章,感觉方法在现在看来已经很easy了,可见NLP领域的发展之迅速。

文章主要讨论了如何将context 引入到当前生成的句子中,baseline和seq2seq attention做对比,作者采用了两种方式,一种将context直接简单的接到DA的前面,DA(dialog action就是一些键值对)。第二种就是将context单独encoder成一个向量,然后和DAencoder出来的向量结合一下。

 

模型:

[NLG] A Context-aware Natural Language Generator for Dialogue Systems

 绿色的表示第一种融合方式,蓝色的表示第二种融合方式。

reranker:这篇工作让我觉得有意思的地方

他在生成K个最好的候选项之后,对这K个候选项进行rerank,在之前他们的分数上加上了一个分数L,其中这个L用来衡量候选项和context BLEU1和BLEU2的分数的算数平均值,也就是说如果候选项和context的共现词越多,他的分数会越高,这样间接的实现了copy机制。感觉很棒:p1 p2分别是bleu1 2的分数,W是权值,l是原来的评分。

[NLG] A Context-aware Natural Language Generator for Dialogue Systems

一句话总结:

结合context内容,与ouput reranker做dialogue 的生成。