人工智能Yoshua Bengio:注意力是“有意识”AI的核心要素
本文插图
作者 | 蒋宝尚
注意力机制或许是未来机器学习的核心要素 。
在本周举办的ICLR 2020 上 , 图灵奖获得者Yoshua Bengio 在其特邀报告中着重强调了这一点 。
目前注意力机制已是深度学习里的大杀器 , 无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中 , 都很容易遇到注意力模型的身影 。
借鉴于人类的注意力机制 , 关注注意焦点 , 注意力机制是作为一种通用的思想出现的 。
Bengio在其报告《与意识相关的深度学习先验》中提到 , 丹尼尔·卡尼曼的书《思考 , 快与慢》中指出人的认知系统有两类 , 一类是无意识(快系统)的 , 关键词是直觉、非语言、习惯;第二类是有意识的(慢系统) , 关键词是语言性、算法性 , 推理和计划 。
Bengio指出 , 第二类认知系统允许对语义概念进行操纵、重组 , 这对于当前的人工智能和机器学习算法来说是一个非常渴望的特性 。
但目前的机器学习方法还远没有从无意识发展到全意识 , 但是Bengio相信从“无”到“有”的转变完全可能 , 而注意力则是转变过程的核心要素之一 。
在报告中 , Bengio提到 , 注意力机制每次都关注其中某几个概念并进行计算 , 因为意识先验及其相关的假设中 , 许多高层次的依赖关系可以被一个稀疏因子图近似地捕捉到 。
最后 , 报告介绍了元学习 , 这种先验意识和代理视角下的表征学习 , 会更加有助于以新颖的方式 , 支持强大的合成泛化形式 。
AI科技评论对演讲内容做了有删改的翻译整理 , 供大家参考:
Bengio:
本文插图
此次报告的主题是深度学习的未来发展方向 , 特别是深度学习与意识的关系 。 其实神经科学对意识内容的研究在近几十年里已经有了很大的进展 。
本文插图
所以现在是机器学习考虑这些将意识加入模型的时候了 。 另一方面 , 这对意识的研究也有好处 , 能够在测试意识的特定假设功能以及正式化方面提供帮助 , 也能够让我们从意识中获得一些魔力 , 并理解意识的进化优势、计算和统计优势 。
本文插图
对于意识 , 丹尼尔·卡尼曼在《思考 , 快与慢》这本书中 , 对许多常见的现象如直觉、错觉、偏见等给出了科学解释 , 并介绍了“系统1 , 系统2” , 描述了大脑的两种思维模式 。
对于[系统1] , 可以想象这样的场景:在一条你已经非常清楚路况的公路上开汽车 , 这时候 , 你并没有把所有的注意力都放在驾驶上 , 如果有人和你进行谈话 , 你也可以轻松回应 。
相反 , [系统2]的场景描述就是:如果你在一个新的地方开车 , 这时候别人和你对话 , 你会非常烦 , 因为你要把精力都放在驾驶上 。
所以「系统1」的任务涉及到直觉知识 , 它能够很快执行 , 在你大脑中是不知不觉一步一步发生的 。 「系统1」通常涉及隐性知识 , 很难用语言解释 , 但是人工神经网络却擅长存储隐性知识 , 这也是现在深度学习表现非常好的原因 。
而「系统2」的任务更多的需要以一种有意识的方式 , 按照顺序并能够用语言来描述 , 这也是所谓的显性知识 , 涉及到了推理和规划的算法 。
所以「系统2」在做任务执行的时候可能非常慢 , 但里面的涉及的关键确是我们想给深度学习进一步扩展的功能 。
简单而言 , 「系统2」任务的一个有趣的特性是允许操纵高级语义概念 , 这些概念可以在新的情况下使用 , 并与分布外的泛化相联系 , 而未来的深度学习需要的正是种“操纵”功能 。
- 湖南省人工智能产业联盟每日AI报0510
- 掘金界参与主,5月8日,由全球领先的人工智能平台公司商汤科技SenseTime
- 埃尔法哥哥人工智能与人类的未来
- AI途人工智能时代:AI“创作”的著作权归属
- 前瞻产业研究院2020年中国人工智能行业市场规模及竞争格局分析:百度夺得数桂冠【组图】
- 大科技杂志社想说爱你不容易,人工智能
- 眷诚法务人工智能的法律主体资格分析
- c114通信网1.4亿!新华三首次中标中国移动人工智能通用计算设备集采
- Hornet黄蜂您在日常生活中使用的10个人工智能示例
- 埃尔法哥哥人工智能,将如何引发教育领域系统变革?