“之前的研究主要集中在区分常识上 。 ” Xiang Ren说 ， “他们用多项选择题来测试机器 ， 而机器的搜索空间很小——通常是四五个候选 。 ”
例如 ， 区分常识测试的典型设置是多项选择题的回答任务 ， 例如:“成年人在哪里使用固体胶水?”A:教室B:办公室C:书桌抽屉 。
当然 ， 答案是“B:办公室 。 ”即使是计算机也能毫不费力地解决这个问题 。 相比之下 ， 生成式环境则更加开放 ， 比如CommonGen任务 ， 模型被要求从给定的概念中生成一个自然的句子 。
Xiang Ren解释说:“广泛的模型训练,很容易在这些任务有很好的性能 。 与那些有区别的常识推理任务不同 ， 我们提出的测试侧重于机器常识的生成方面 。 ”
Ren和Lin希望这些数据集能成为一个新的基准 ， 对未来将常识引入自然语言生成的研究有益 。 事实上 ， 它们甚至有一个排行榜 ， 描述了各种流行模型的得分 ， 以帮助其他研究人员确定它们在未来项目中的可行性 。
“机器人需要了解我们日常生活中的自然场景 ， 然后才能做出合理的动作与人互动 。 ” Lin说 。
“通过向机器介绍常识和其他特定领域的知识 ， 我相信有一天我们会看到像电影《她》(Her)中的萨曼莎(Samantha ， ‘寡姐’斯嘉丽声音出演)那样的人工智能代理产生自然反应 ， 并与我们的生活互动 。 ”
编译/前瞻经济学人APP资讯组
原文来源：
【别看人工智能作诗写文章是把好手，新测试显示缺乏常识仍是人工“智障”】

• 人工智能|麻辣财经：我国“算力”增长迅速，有力支撑人工智能发展
• 人工智能有助于文学照亮人性
• 人工智能改变生活 智能验脚让穿鞋更科学
• Lip Factory利用人工智能现场为顾客创建定制口红
• 人工智能正在了解人类的“言外之意”
• 仅用168天，商汤科技“新一代人工智能计算与赋能平台”项目结构封顶
• 谷歌：想发AI论文？请保证写的是正能量
• 美国需要与盟国一起实现人工智能优势
• 百度华为阿里领衔，聚焦最值得关注的十家人工智能公司
• 智聚江苏 共创未来 2020第三届江苏人工智能大会在宁举行