人工智能Yoshua Bengio:注意力是“有意识”AI的核心要素( 四 )


地址:https://openreview.net/forum?id=ryxWIgBFPS
人工智能Yoshua Bengio:注意力是“有意识”AI的核心要素
本文插图
最后 , 提一下我想提的工作 , 一篇叫做《Recurrent Independent Mechanisms》的论文里面重新定义了一个新的recurrent neural net架构 , 在这个架构中 , 把recurrent net 分解成更小的模块 , 在每个模块里面 , 它是完全连接在一起的 , 并不是一个同质的网络 。 模块之间 , 有一个注意力机制 , 当然 , 你也可以认为这是意识的集中地 。

人工智能Yoshua Bengio:注意力是“有意识”AI的核心要素
本文插图
总结一下 , 在前面的演讲中 , 我试图为深度学习勾勒出一个研究方向 , 为深度学习捕捉「系统1」的知识 。 我发现这里面有很多有趣的研究方面 , 例如系统之外的东西、事物的分布、知识的呈现方式......
解决这些问题 , 知识先验是一个非常好的想法 , 可以让知识分解重组然后对应依赖性的知识 , 并且能够涉及非常少的变量 。 显然 , 这非常有趣 , 因为它允许一个Agent能够快速的适应分布的变化 。
(雷锋网)、(雷锋网)(雷锋网)