继CVPR、AAAI大丰收后,百度又有11篇论文被ACL 2020录用( 二 )
2、PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable
----继CVPR、AAAI大丰收后 , 百度又有11篇论文被ACL 2020录用//----
研发开放领域(Open-Domain)的对话机器人 , 使得它能用自然语言与人自由地交流 , 一直是自然语言处理领域的终极目标之一 。 对话系统的挑战非常多 , 其中有两点非常重要 , 一是大规模开放域多轮对话数据匮乏;二是对话中涉及常识、领域知识和上下文 , 一个对话的上文(Context) , 往往可以对应多个不同回复(Response)的方向 。 PLATO首次提出将离散的隐变量结合Transformer结构 , 应用到通用对话领域 。 通过引入离散隐变量 , 可以对上文与回复之间的“一对多”关系进行有效建模 。 同时 , 通过利用大规模的与人人对话类似的语料 , 包括Reddit和Twitter , 进行了生成模型的预训练 , 后续在有限的人人对话语料上进行微调 , 即可以取得高质量的生成效果 。 PLATO可以灵活支持多种对话 , 包括闲聊、知识聊天、对话问答等等 。 而文章最终公布的在三个公开对话数据集上的评测 , PLATO都取得了新的最优效果 。
尽管越来越多的工作证明了随着预训练和大规模语料的引入 , 自然语言处理领域开启了预训练然后微调的范式 。 在对话模型上 , 大规模预训练还处于初级阶段 , 需要继续深入探索 。 PLATO提出的隐变量空间预训练模型 , 可能成为端到端对话系统迈上一个新台阶的关键点之一 。
3、Towards Conversational Recommendation over Multi-Type Dialogs
----继CVPR、AAAI大丰收后 , 百度又有11篇论文被ACL 2020录用//----
真实人机对话 , 涉及多类型对话(闲聊、任务型对话、问答等) , 如何自然的融合多类型对话是一个重要的挑战 。 为应对这个挑战 , 我们提出一个新的任务——多类型对话中的对话式推荐 , 期望Bot能够主动且自然地将对话从非推荐对话(比如『问答』)引导到推荐对话 , 然后基于收集到的用户兴趣及用户实时反馈通过多次交互完成最终的推荐目标 。 为便于研究这个任务 , 我们标注了一个包含多种对话类型、多领域和丰富对话逻辑(考虑用户实时反馈)的人-人对话式推荐数据集DuRec(1万个对话和16.4万个utterance) 。 针对每个配对:推荐寻求者(user)和推荐者(bot) , 存在多个序列对话 , 在每个对话中 , 推荐者使用丰富的交互行为主动引导一个多类型对话不断接近推荐目标 。 这个数据集允许我们系统地考察整个问题的不同部分 , 例如 , 如何自然地引导对话 , 如何与用户交互以便于推荐 。 最后 , 我们使用一个具有多对话目标驱动策略机制的对话生成框架在DuRec上建立基线结果 , 表明了该数据集的可用性 , 并为将来的研究设定了基线 。
二、情感分析/预训练表示学习
4、SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis
- 『植检』河北省植保植检总站:预防雨后小麦病虫害 确保夏粮丰收
- 兴义市融媒体中心南盘江镇:柑橘林下套种蔬菜喜获丰收
- CVPR 2020 Oral | 将SOTA行人再识别系统精度降至1.4%
- 兰陵@山东兰陵12万亩小麦集中飞防 确保夏粮丰产丰收
- 春秋说出口恐成大问题,越南媒体担忧该国荔枝丰收遇到中国荔枝大丰收
- 喵喵次元大量先进坦克已经启运,并不是VT4!,国产坦克迎来双丰收
- 『村民在采收』贵州玉屏:生菜喜获丰收
- 『大棚』萨嘎县杰村的蔬菜大棚丰收啦!
- 「」CVPR2020 | 对抗伪装:如何让AI怀疑人生
- 『高速铁路』安徽这小县真幸运,被343公里高铁选中,将推动旅游、经济双丰收