【变形金刚】ICLR 2020上，Transformers 有何新动向？( 三 ) |文章|何新|人工智能|

Discriminator: 判断输入句子中的每个词是否被替换，即使用Replaced Token Detection (RTD)预训练任务，取代了BERT原始的Masked Language Model (MLM) 。需要注意的是这里并没有使用Next Sentence Prediction (NSP)任务。
在预训练阶段结束之后，只使用Discriminator作为下游任务精调的基模型。
换句话说，作者们把CV领域的GAN运用到了自然语言处理。
值得注意的是，尽管与GAN的训练目标相似，但仍存在一些关键差异。首先，如果生成器碰巧生成了正确的token ，则该token被视为“真实”而不是“伪造”；所以模型能够适度改善下游任务的结果。更重要的是，生成器使用最大似然来训练，而不是通过对抗性训练来欺骗判别器。
5、新时代，新任务

本文插图
论文：TabFact: A Large-scale Dataset for Table-based Fact Verification
链接：https://openreview.net/pdf?id=rkeJRhNYDH
这篇工作来自 UCSB 计算机科学系助理教授王威廉等人的研究。随着现在 Transformer 的性能与人类水平之间的差距越来越小，许多经典的NLP数据集事实上已经过时了。因此，若想更近一步研究，就需要创建一个更具挑战性的新基准。在这种背景下，作者提出了一个新的数据集，用来解决以自然语言表达的基于事实的信息进行建模的问题。

本文插图
Source: TabFact: A Large-scale Dataset for Table-based Fact Verification
数据集由Wikipedia的16k 的表和118k人工注释的语句组成，这些语句带有ENTAILMENT或REFUTED标签来引用事实数据。
【【变形金刚】ICLR 2020上，Transformers 有何新动向？】目前这个任务的基准性能仍然处于中等水平，仍然大有可为。
6、加入现实世界知识

本文插图
论文：Pretrained Encyclopedia: Weakly Supervised Knowledge-Pretrained Language Model
链接：https://openreview.net/pdf?id=BJlzm64tDH
预训练语言模型的最新进展表明，自监督学习对于多种自然语言处理（NLP）任务的有效性。除了标准的语法和语义NLP任务外，预训练的模型还对涉及真实世界知识的任务进行了大幅度改进，这表明大规模语言建模可能是捕获知识的隐式方法。

本文插图
在这篇文章中，作者提出了一个简单而有效的弱监督预训练目标。这个目标明确强迫模型纳入有关现实世界实体的知识。使用这个新目标训练的模型在「事实完成」（fact completion）任务上有较大改进。当应用于下游任务时，他们的在多个任务（如问答、实体键入）上性能都优于BERT 。
三、应用 Transformer不仅与语言建模有关，在一些相关问题上也有一些巧妙的应用。
7、用BERT评估文本生成

本文插图
论文：BERTScore: Evaluating Text Generation with BERT
链接：https://openreview.net/pdf?id=SkeHuCVFDr
在松散定义的环境（即生成连贯的文本）下，客观地测量生成质量，具有很大的挑战性。传统上， BLUE分数作为文本相似性的代名词，虽然被广泛应用（例如翻译、问答），但在长文本生成任务中却显得不那么完美。