继CVPR、AAAI大丰收后,百度又有11篇论文被ACL 2020录用( 二 )

  2、PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable


继CVPR、AAAI大丰收后,百度又有11篇论文被ACL 2020录用

----继CVPR、AAAI大丰收后 , 百度又有11篇论文被ACL 2020录用//----

  研发开放领域(Open-Domain)的对话机器人 , 使得它能用自然语言与人自由地交流 , 一直是自然语言处理领域的终极目标之一 。 对话系统的挑战非常多 , 其中有两点非常重要 , 一是大规模开放域多轮对话数据匮乏;二是对话中涉及常识、领域知识和上下文 , 一个对话的上文(Context) , 往往可以对应多个不同回复(Response)的方向 。 PLATO首次提出将离散的隐变量结合Transformer结构 , 应用到通用对话领域 。 通过引入离散隐变量 , 可以对上文与回复之间的“一对多”关系进行有效建模 。 同时 , 通过利用大规模的与人人对话类似的语料 , 包括Reddit和Twitter , 进行了生成模型的预训练 , 后续在有限的人人对话语料上进行微调 , 即可以取得高质量的生成效果 。 PLATO可以灵活支持多种对话 , 包括闲聊、知识聊天、对话问答等等 。 而文章最终公布的在三个公开对话数据集上的评测 , PLATO都取得了新的最优效果 。

  尽管越来越多的工作证明了随着预训练和大规模语料的引入 , 自然语言处理领域开启了预训练然后微调的范式 。 在对话模型上 , 大规模预训练还处于初级阶段 , 需要继续深入探索 。 PLATO提出的隐变量空间预训练模型 , 可能成为端到端对话系统迈上一个新台阶的关键点之一 。

  3、Towards Conversational Recommendation over Multi-Type Dialogs


继CVPR、AAAI大丰收后,百度又有11篇论文被ACL 2020录用

----继CVPR、AAAI大丰收后 , 百度又有11篇论文被ACL 2020录用//----

  真实人机对话 , 涉及多类型对话(闲聊、任务型对话、问答等) , 如何自然的融合多类型对话是一个重要的挑战 。 为应对这个挑战 , 我们提出一个新的任务——多类型对话中的对话式推荐 , 期望Bot能够主动且自然地将对话从非推荐对话(比如『问答』)引导到推荐对话 , 然后基于收集到的用户兴趣及用户实时反馈通过多次交互完成最终的推荐目标 。 为便于研究这个任务 , 我们标注了一个包含多种对话类型、多领域和丰富对话逻辑(考虑用户实时反馈)的人-人对话式推荐数据集DuRec(1万个对话和16.4万个utterance) 。 针对每个配对:推荐寻求者(user)和推荐者(bot) , 存在多个序列对话 , 在每个对话中 , 推荐者使用丰富的交互行为主动引导一个多类型对话不断接近推荐目标 。 这个数据集允许我们系统地考察整个问题的不同部分 , 例如 , 如何自然地引导对话 , 如何与用户交互以便于推荐 。 最后 , 我们使用一个具有多对话目标驱动策略机制的对话生成框架在DuRec上建立基线结果 , 表明了该数据集的可用性 , 并为将来的研究设定了基线 。

  二、情感分析/预训练表示学习

  4、SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis