【EMNLP 2020 | 微软亚洲研究院精选论文解读( 三 )】编者按：EMNLP是自然语言处理领_傻大方

按关键词阅读：

论文链接：
数据增广是一种常用的提升模型泛化能力的方法。相比旋转、剪裁等图像数据常用的数据增广方法，合成新的高质量且多样化的离散文本相对来说更加困难。近年来，一些文本数据增广方法被提出，这些方法大体可分为两类，一类是通过替换、删减、增添等操作对文本局部进行修改以生成新的数据。另一类是利用模型生成新的数据，如利用翻译模型的回译、利用 Mask Language Model 合成新的数据、利用 GAN、VAE 等生成模型生成新的数据。然而，对于机器阅读理解、问句生成、问答自然语言推理等涉及段落、答案和问句的任务，使用传统的文本数据增广方法单独对问句或段落进行增广可能会生成不相关的问句-段落数据对，对模型的性能提升帮助不大。
针对机器阅读理解、问句生成、问答自然语言推理等任务的问句数据增广，本篇论文将该类问句数据增广任务看作是一个带限制的问句改写任务，即要让改写后的问句与原始文档和答案是相关的，并且希望生成与原始问句接近的不可回答（unanswerable）问句和可回答（answerable）问句。受连续空间修改的可控式改写方法的启发，研究员们提出了基于可控式改写的问句增广方法（Controllable Rewriting based Question Data Augmentation, CRQDA）。
与在离散空间修改问句的方法不同，该方法在连续的词向量空间，以机器阅读理解模型作为指导对问句进行改写。相比有监督的方法，该方法不需要成对的问句语料，就可以将可回答问句改写为相似的不可回答问句。
如图7所示， CRQDA 包含两个核心模块：1）基于 Transformer 的自编码器，该模型将离散的问句文本映射到连续空间并重构问句。 2）预先训练好的抽取式机器阅读理解模型。该模型与自编码器的编码器部分共享词向量部分的参数，以确保二者的问句词向量位于同一个连续空间。利用机器阅读理解模型的输出与目标标签（想要可回答问句或不可回答问句）的误差回传得到的梯度信息，作为问句在词向量这一连续空间中进行修改的指导（改写过程如图8所示，具体改写算法如图9所示）。
EMNLP 2020 | 微软亚洲研究院精选论文解读文章插图
图7：CRQDA 模型结构
文章插图
图8：CRQDA 问句改写过程
文章插图
图9：CRQDA 问句修改算法
实验在 SQuAD 2.0 数据集上与多种问句增广方法和文本增广方法进行了比较（见表6）。
EMNLP 2020 | 微软亚洲研究院精选论文解读文章插图
表6：SQuAD 2.0 数据增广方法对比
此外，实验也进一步探索了使用增广数据对不同机器阅读理解模型性能的提升（表7）、使用不同数据对自编码器进行训练对 CRQDA 性能的影响（表8）以及使用不同设定生成增广数据对模型性能的影响（表9）。
EMNLP 2020 | 微软亚洲研究院精选论文解读文章插图
表7：CRQDA 对不同机器阅读理解模型的性能提升
文章插图
表8：不同训练数据对 CRQDA 的性能影响
文章插图
表9：CRQDA 不同增广数据对性能的影响
进一步地，研究员们也将方法应用于问句生成任务（表10）和问答自然语言推理任务（表11）。大量实验验证了提出方法的有效性。
EMNLP 2020 | 微软亚洲研究院精选论文解读文章插图
表10：CRQDA 对 SQuAD1.1 问句生成任务的性能提升
文章插图
表11：CRQDA 对 QNLI 问答自然语言推理任务的性能提升
利用分层Transformer模型的注意力机制进行非监督性抽取式摘要
Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers
论文链接：
抽取式文本摘要的主要目的是从一篇长文章中选择几个可以概括文章主要内容的句子，将它们作为该文章的摘要。在没有监督信息的情况下，该问题通常被表示成对一篇文章中的句子的排序问题，在以前的工作中，常常是通过模型学习文章中句子的向量表征，利用这些句子表征和一些人为拟定的规则构造一个以句子为结点的图，但这些规则有时候会导致选取结果在一定程度上很依赖句子在文章中的位置。