人工智能Yoshua Bengio：注意力是“有意识”AI的核心要素( 三 ) |深度学习|机器学习|算法|

从机器翻译开始， soft attention已经对自然语言处理产生了巨大的影响，一些有趣的神经科学表明，这种注意力在就像是内部的一种肌肉运动。

本文插图
上面是神经科学中关于意识的几个理论的核心，尤其是全局工作空间理论，大多数是由Baars提出，涉及了意识过程的瓶颈问题。
当前通常认为信息是用注意力来选择的，即从多种可能的方式和输入的部分中选择信息，然后将选择的信息广播到大脑的其他部分，并存储在短期记忆中，以适应短期内的感知和行动。
这里有一个有趣的事情要注意，如果我们认为大脑的大脑皮层是一个大的模拟引擎，那么就要假设一次只能运行一次“全”模拟，区别于每一步只涉及几个抽象的概念的“电影模式” 。

本文插图
从人们的口头报告中，我们就可以判断某些事件是有意识的还是无意识的。其实，不光是口头报告，理解也非常重要，因为它能将高级别的示与较低级别感知联系在一起。但也有很多关于这个世界的知识不能用我刚才谈到的那些强有力的假设来代表。

本文插图
2017年的时候，我在论文中曾经提到过意识先验，如果用因果图来表示的话，可以把每个因子像句子一样看成是涉及几个变量的联合分布。
高级语言会有一个惊人的特性，那就是我可以在一句话中做出隐蔽性的预测。例如， “如果我扔一个球，这个球会掉在地上”
另外还可以做一个只涉及少数几个概念的强有力的预测，不同于通常的边际独立假设，我们假设高级变量是独立的。
这些都与我刚才谈到的注意力的概念有关，因为当你想要对这样一个稀疏的图表进行推理时，一个合理的方法是一次只关注一个或几个因素。

本文插图
关于事物在分布上可能如何变化的假设也非常重要，因为它能够提供了一些“意识处理”的强大力量。
想象这样一个画面：有一个原始数据，它有一个非常复杂的联合分布，我们将用两个层次来表示它。然后将四分之一的原始数据映射到抽象空间，根据这个假设，当分布发生变化时会发生什么？
其实，在抽象空间中，更改是局部化的，可能只需要修改一个变量、一个条件或一个因素。因此，学习如何适应修改后的分布变得容易得多，如果以正确的方式表示信息，就可以快速传输。

本文插图
这些变化是怎么造成的呢？很可能是因为一个Agent在全局中做了一些事情。由于物理行为在空间和时间上都是局部化的， Agent只能以局部化的方式做事情。
例如，如果我戴上墨镜，在较高的水平上，只能看到一点点变化，但在较低的水平，变化非常大，因为所有的像素都有不同的联合分布。
分布变了之后会发生什么呢？一般机器学习模型训练都假设使用的数据是服从独立同分布，但这显然不符合实际情况。于是，我们使用一个元学习目标来学习如何将获得的知识模块化，并找到其中的因果关系。
具体而言，我们在简单的设置中尝试了这个想法，首先，用两个变量a和b ，通过改变分布来学习，对其中一个变量的干预，在这种情况下，我们发现了学习的速度。
这个发现是一个很好的线索，意味着你是否有正确的假设，是否有正确的高级变量集。关于A和B谁是谁的原因，我们最近在理论方面扩展了这项工作，证明了什么时候可以收敛到正确的因果假说。译者注：论文是《一个元转移的目标学习解开因果机制》