文章插图
图3：面向对话编辑的一个示例
那么 ， 这个编辑任务与语义分割又有何联系呢？因为编辑动作涉及到的是分别来自对话历史(c)和不完整话语(x)的两个片段 ， 所以很自然地可以将其想象成图4中的词级别的编辑矩阵 ， 其中黄色代表插入操作 ， 绿色代表替换操作 ， 灰色则代表无操作 。 这样词级别的编辑矩阵与语义分割中的像素级掩码 (pixel-level mask ， 图5右上侧)是十分相似的 。
文章插图
图4：编辑操作可以视为二维平面上词对词的编辑矩阵
受这样的类比启发 ， 如图5所示 ， 研究员们首先通过类似于注意力机制的方式构造了词与词之间的特征图矩阵 。 将该矩阵作为一个经典语义分割模型 U-Net (Ronneberger et al. 2015) 的输入 ， 可以得到词级别的编辑矩阵 。 拿到编辑矩阵后 ， 在原对话上执行编辑操作即可得到最终的重写句 。
文章插图
图5：RUN 模型得到词级别编辑矩阵的过程
在四个公开数据集上 ， 微软亚洲研究院研究员们的模型都取得了相似或更好的性能 。 表4和表5分别显示了 Multi 和 Rewrite 数据集上的实验结果 。 如图所示 ， RUN 在几乎所有指标上都达到了最先进的性能 ， 显著超过了各种基于 LSTM 和 Transformer 的复制网络变种 (如 L-Ptr-Gen 和 T-Ptr-λ) 。 此外 ， RUN 和 BERT 结合时显示出了非常优越的性能 ， 大幅度超过同样利用 BERT 的 SOTA 模型 。 同时 ， RUN 的推理速度也大幅超过传统模型 ， 达到了将近4倍的加速比 。 目前 ， 本篇论文相应的代码已经开源（） 。
文章插图
表4：RUN 和 RUN+BERT 在数据集 Multi (Pan et al. 2019) 上的实验结果
文章插图
表5：RUN 和 RUN+BERT 在数据集 Rewrite (Su et al. 2019)上的实验结果
基于常识知识图谱的多跳推理文本生成
Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph
论文链接：
人类语言通常涉及各种常识知识 。 例如 ， 当人类在讲故事或者对日常生活中的场景进行解释时 ， 常常会联系相关的背景常识知识进行推理 。 目前将语言模型在大规模语料上预训练 ， 然后在下游任务上微调的范式在许多文本生成任务上都取得了显著的效果 。 尽管语言模型通过在大量语料上预训练隐式地学习到了一定的知识 ， 然而这种获取知识的方式没有显式利用知识库和知识图谱 ， 因此较为低效 。
在语言生成领域 ， 目前已有的增强预训练模型常识知识的方法是将预训练模型在常识知识库中的知识三元组上进行进一步的后训练 。 本篇论文研究提出了利用更丰富的常识知识图谱信息 ， 在文本生成时显式地在知识图谱中的关系路径上进行多跳推理 ， 并利用图谱中的相关实体用于文本生成 。 微软亚洲研究院的研究员们在故事生成、解释生成、溯因常识推理等任务上进行了实验 ， 自动文本生成评测指标和人工指标均表明所提出的模型能够更好地在生成中利用常识知识 。
本研究关注一类条件文本生成任务 ， 即给定输入源文本X ， 目标是生成一段目标文本 Y 。 研究员们额外增加了一个知识图谱 G=(V,E) 的输入为模型在生成时提供常识知识的信息 。 图6为模型框架图 。
文章插图
图6：模型框架图
模型分为四个部分：（a）使用预训练的语言模型对上下文进行建模 ， 根据输入和当前生成的目标文本前缀计算当前步骤的解码器隐状态 。 （b）使用图卷积神经网络对输入的知识图谱进行编码得到图结构感知的实体向量表示和关系向量表示 。 （c）多跳推理模块结合实体表示、关系表示和当前的解码器隐状态 ， 在知识图谱上进行多跳推理 ， 并在图上计算归一化的实体概率分布 。 （d）利用解码器隐状态计算词表上的概率分布和拷贝概率 ， 根据图谱上实体分布选择拷贝相关的实体用于当前词的生成 。 自动指标和人工评测均表明所提出的模型比现有基线模型取得了一定的提升 。
告诉我如何再次提问：基于在连续空间可控式改写的问句数据增广
Tell Me How to Ask Again: Question Data Augmentation with Controllable Rewriting in Continuous Space

稿源：(未知)

【傻大方】网址：http://www.shadafang.com/c/111T314412020.html

标题：EMNLP 2020 | 微软亚洲研究院精选论文解读( 二 )