人工智能Yoshua Bengio：注意力是“有意识”AI的核心要素 |深度学习|机器学习|算法|

本文插图
作者 | 蒋宝尚
注意力机制或许是未来机器学习的核心要素。
在本周举办的ICLR 2020 上，图灵奖获得者Yoshua Bengio 在其特邀报告中着重强调了这一点。
目前注意力机制已是深度学习里的大杀器，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。
借鉴于人类的注意力机制，关注注意焦点，注意力机制是作为一种通用的思想出现的。
Bengio在其报告《与意识相关的深度学习先验》中提到，丹尼尔·卡尼曼的书《思考，快与慢》中指出人的认知系统有两类，一类是无意识（快系统）的，关键词是直觉、非语言、习惯；第二类是有意识的（慢系统），关键词是语言性、算法性，推理和计划。
Bengio指出，第二类认知系统允许对语义概念进行操纵、重组，这对于当前的人工智能和机器学习算法来说是一个非常渴望的特性。
但目前的机器学习方法还远没有从无意识发展到全意识，但是Bengio相信从“无”到“有”的转变完全可能，而注意力则是转变过程的核心要素之一。
在报告中， Bengio提到，注意力机制每次都关注其中某几个概念并进行计算，因为意识先验及其相关的假设中，许多高层次的依赖关系可以被一个稀疏因子图近似地捕捉到。
最后，报告介绍了元学习，这种先验意识和代理视角下的表征学习，会更加有助于以新颖的方式，支持强大的合成泛化形式。
AI科技评论对演讲内容做了有删改的翻译整理，供大家参考：
Bengio：

本文插图
此次报告的主题是深度学习的未来发展方向，特别是深度学习与意识的关系。其实神经科学对意识内容的研究在近几十年里已经有了很大的进展。

本文插图
所以现在是机器学习考虑这些将意识加入模型的时候了。另一方面，这对意识的研究也有好处，能够在测试意识的特定假设功能以及正式化方面提供帮助，也能够让我们从意识中获得一些魔力，并理解意识的进化优势、计算和统计优势。

本文插图
对于意识，丹尼尔·卡尼曼在《思考，快与慢》这本书中，对许多常见的现象如直觉、错觉、偏见等给出了科学解释，并介绍了“系统1 ，系统2” ，描述了大脑的两种思维模式。
对于[系统1] ，可以想象这样的场景：在一条你已经非常清楚路况的公路上开汽车，这时候，你并没有把所有的注意力都放在驾驶上，如果有人和你进行谈话，你也可以轻松回应。
相反， [系统2]的场景描述就是：如果你在一个新的地方开车，这时候别人和你对话，你会非常烦，因为你要把精力都放在驾驶上。
所以「系统1」的任务涉及到直觉知识，它能够很快执行，在你大脑中是不知不觉一步一步发生的。「系统1」通常涉及隐性知识，很难用语言解释，但是人工神经网络却擅长存储隐性知识，这也是现在深度学习表现非常好的原因。
而「系统2」的任务更多的需要以一种有意识的方式，按照顺序并能够用语言来描述，这也是所谓的显性知识，涉及到了推理和规划的算法。
所以「系统2」在做任务执行的时候可能非常慢，但里面的涉及的关键确是我们想给深度学习进一步扩展的功能。
简单而言，「系统2」任务的一个有趣的特性是允许操纵高级语义概念，这些概念可以在新的情况下使用，并与分布外的泛化相联系，而未来的深度学习需要的正是种“操纵”功能。