论文分享 - Reasoning with Memory Augmented Neural Networks for Language Comprehension


注:在实验中,read 和 write 模块都采用了单层 LSTM 网络,compose 模块采用了单层 MLP。

资源

论文地址:https://arxiv.org/abs/1610.06454
代码地址:近期会放出

相关工作

EpiReader 这一模型做两个阶段的计算。首先利用 Attention Sum Reader 选出最可能的 K 个答案填到原始问题 placeholder 中形成新的问题。然后利用 EpiReader 在 document 和新的 query 之间做一个 entailment estimation 来预测答案。但是 entailment estimation 为它的应用带来了限制。

论文分享 - Reasoning with Memory Augmented Neural Networks for Language Comprehension

简评

最终实验证明在 T = 12 时,adaptive computation 方法在 CBT 和 WDW 两个数据集上都取得了最佳效果。本文受人脑中的假设检验过程启发,从而提出这样一个模型,解决了推理网络的跳数自适应问题。