创新实训(8)-NLP文本摘要学习

1.简介

文本摘要，即将一段长文本转换为体现其中心内容的短文本。文本摘要按照输入类型可分为单文档摘要和多文档摘要。单文档摘要从给定的一个文档中生成摘要，多文档摘要从给定的一组主题相关的文档中生成摘要。按照输出类型可分为抽取式摘要和生成式摘要。抽取式摘要从源文档中抽取关键句和关键词组成摘要，摘要全部来源于原文。生成式摘要根据原文，允许生成新的词语、短语来组成摘要。按照有无监督数据可以分为有监督摘要和无监督摘要。本文主要关注单文档、有监督、抽取式、生成式摘要。

2.抽取式摘要

抽取式摘要主要式通过一定的算法从原文中计算关键词和关键句子来组成摘要。这种方法天然就在语法和句法上错误率低，保证了一定的效果。基于一个假设：一篇文档的核心思想可以用文档中的某一句或者几句话来概括。因此，文本摘要的任务就变成了找到文本中最重要的几句话，这通常是一个排序问题。传统的抽取式摘要方法使用图方法，聚类等方式完成无监督摘要。目前比较流行的基于神经网络的抽取式摘要往往将问题建模为序列标注和句子排序两类任务。下面首先介绍传统的抽取式摘要方法，接着简述基于神经网络的抽取式摘要方法。

2.1 TextRank

在文档摘要问题中，基于图的排序算法，是以文档的每句话作为节点，句子之间的相似度作为边的权值构构建图模型，用PageRank算法进行求解，得到每个句子的得分，代表算法有TextRank和LexRank。

2.2 Seq2Seq方式

之前的抽取式摘要往往建模句子级别的表示，忽略了关键词的作用。ACL18 中，Jadhav and Rajan等人直接使用 Seq2Seq 模型来交替生成词语和句子的索引序列来完成抽取式摘要任务。其模型 SWAP-NET 在解码的每一步，计算一个 Switch 概率指示生成词语或者句子。最后解码出的是词语和句子的混合序列。最终摘要由产生的句子集合选出。除了考虑生成句子本身的概率之外，还需要考虑该句是否包含了生成的词语，如果包含，则得分高，最终选择 top k 句作为摘要。

3.生成式摘要

抽取式摘要在语法、句法上有一定的保证，但是也面临了一定的问题，例如：内容选择错误、连贯性差、灵活性差等问题。生成式摘要允许摘要中包含新的词语或短语，灵活性高，随着近几年神经网络模型的发展，序列到序列（Seq2Seq）模型被广泛的用于生成式摘要任务，并取得一定的成果。

仅使用 Seq2Seq 来完成生成式摘要存在如下问题：（1）未登录词问题（OOV），（2）生成重复。现在被广泛应用于生成式摘要的框架由 See 等人在 ACL17 中提出，在基于注意力机制的 Seq2Seq 基础上增加了 Copy 和 Coverage 机制，有效的缓解了上述问题。其模型 pointer-generator 网络如下图所示。

其模型基本部分为基于注意力机制的 Seq2Seq 模型，使用每一步解码的隐层状态与编码器的隐层状态计算权重，最终得到 context 向量，利用 context 向量和解码器隐层状态计算输出概率。

利用 Copy 机制，需要在解码的每一步计算拷贝或生成的概率，因为词表是固定的，该机制可以选择从原文中拷贝词语到摘要中，有效的缓解了未登录词（OOV）的问题。

利用 Coverage 机制，需要在解码的每一步考虑之前步的 attention 权重，结合 coverage 损失， 避免继续考虑已经获得高权重的部分。该机制可以有效缓解生成重复的问题。

4.评价方法

关于评价方法，人工评价自不用提，自动评价目前公认的只有Lin在2003年提出的ROUGE（Recall-Oriented Understudy for Gisting Evaluation）指标，基本思想是将待审的摘要和参考摘要的n元组共现统计量作为评价作为评价依据，然后通过一系列标准进行打分，包括：ROUGH-N、ROUGH-L、ROUGH-W、ROUGH-S和ROUGH-SU几个类型。通俗来说是通过一些定量化的指标来描述待审摘要和参考文摘之间的相似性，例如共同出现次数、最长相同文本长度、带权最长相同文本长度等。

5. 数据集

常用的文本摘要数据集有 CNN/Daily Mail 数据集、LCSTS 数据集。

目前广泛使用的是 CNN/Daily Mail 数据集，属于多句摘要数据集，常用于训练“生成式”摘要系统。该数据集一共有两个版本，匿名（Anonymized）版本和未匿名（Non-anonymized）版本，未匿名版本包括了真实的实体名（Entity names），匿名版本将实体使用特定的索引进行替换。

LCSTS 为中文短文本摘要数据集，由新浪微博构建得到。

参考资料

http://www.morrislee.me/自动文本摘要（auto-text-summarization）/

https://www.jiqizhixin.com/articles/2019-03-25-7