今天分享一篇基于重编辑机制的文本生成论文
paper：Paper Abstract Writing through Editing Mechanism（发表于ACL2018）
code：源码

概述：这篇论文解决的问题是使用paper的title来生成abstract。论文使用了一种重编辑机制（参考人类写论文的过程：先写一个草稿出来，再不断的修改），是一个信息量由少到多的过程。

本次分享希望能让你：

1. 了解重编辑机制的工作原理；
2. 学会编写主体框架。

1. 模型总体框架

1.1 encode-decode框架

encoder-decoder模型，也就是编码-解码模型。所谓编码，就是将输入序列转化成一个固定长度的向量；解码，就是将之前生成的固定向量再转化成输出序列。

1.2 Model Overview

2. 模型细节

论文主要包括两部分：撰写网络和编辑网络。
撰写网络：使用title作为输入，生成初稿；
编辑网络：联合title和初稿作为输入，多次编辑生成终稿。

2.1 Writing Network

两张图的红框处表示对title进行encode编码；
蓝框处表示对初稿进行encode编码；
绿框处表示解码输出。

2.2 Editing Network

即前文的self.decoder函数
红框：单向解码；
蓝框：对title的encode结果与解码器输出做attention；
绿框：对初稿的encode结果与解码器输出做attention；
黄框：对上述两个attention结果做一个基于注意力的修改门（控制要修改哪一部分）

2.3 注意力机制

对注意力机制不了解的，可以看一下这篇论文（开山之作，soft-alignment attention）：
Neural Machine Translation By Jointly Learning To Align and Translate.

2.3.1 本文使用的方法

因为encoder部分为双向RNN，假设隐藏层变量维度为512维，那么encoder之后的变量维度为1024（双向）；
因此，decoder部分的隐藏层变量必须设为1024维，以满足上述要求。

2.3.2 Attentive Revision Gate

这部分是对上述两个attention结果做一个基于注意力的修改门（控制要修改哪一部分），类似于GRU的门控结构：

2.4. 重编辑机制

这里的重编辑是指，每一次编辑都计算一次损失，比如设置编辑次数为3，那么计算一个样本可以得到三个Loss，分别对应第一，二，三次编辑：

3. 结果分析

Datasets: 10,874 paper title and abstract pairs.
We randomly dividing them into training (80%),
validation (10%), and testing (10%) sets.

小声BB：其实感觉提升不是很明显，不过人工验证部分确实要好很多，说明更符合人的观感。
个人想法：我在自己的数据集上测试过（不同任务），效果不太好。这么小的数据量，扔到预训练模型中进行fine-tune是更好的方法。不过本文是18年提出来的，那时候bert家族还没有大行其道，这种方法也不失为一种好的改进。