脑极体总共分几步？，注意力机制想要觉醒AI 一场疫情

一场疫情，让所有线下会议按下了暂停键， AI也不例外。
但一年一度的“顶会”却不能不开，于是在4月26日， ICLR2020（国际表征学习大会）就采取虚拟会议的形式，让所有网友得以共襄盛举。

文章图片
值得一提的是，本次ICLR大会接受了2594篇论文中的687篇，吸引了来自近90个国家的5600多名参与者，比2019年的2700人翻了一倍还多。不过，受疫情影响，这次大会也没有评选最佳论文。
既然如此，有没有出现什么新鲜事物，值得我们思索和探究的呢？
那就不得不提到图灵奖获得者、蒙特利尔学习算法研究所主任YoshuaBengio ，在其特邀报告中着重强调的“AI觉醒” 。
此前我们科普过，通用人工智能有多么遥远。怎么短短几年功夫，人工智能就要觉醒了？这就不得不从被Bengio视作机器学习大杀器的注意力机制说起了。
将意识注入机器：注意力机制再添重任
脑极体的资深读者应该对注意力机制并不陌生。在图像处理、语音识别、自然语言处理等机器学习任务中，近两年来都会引入注意力模型。
这么受业界欢迎，它的特点自然很突出：
一是可以让神经网络学会只关注特定的部分，大幅度提升任务的效果与效率，在神经机器翻译、预训练语言模型、图像识别等任务中都表现出了前所未有的成效。 2015年Bahdanau等人提出注意力机制之后，就被ICLR录用，如今它的各种变式已经成为机器翻译算法的“标配” 。
二是降低机器学习的成本，同时增加可解释性。大家都知道深度学习神经网络的模型训练，往往依靠大规模的数据集，不仅数据获取成本很高，训练的算力、时间也不菲，而注意力机制的“选择性” ，能够直接为训练提质增效，并且还能为序列数据建立了权值和映射，从而让输入和输出能够联系起来，避免了算法的“黑箱性” 。
既然注意力机制并不是什么新鲜事物，为什么Bengio特意在其报告《与意识相关的深度学习先验》中，将注意力机制奉为圭臬，甚至成了AI的希望？

文章图片
简单来说， Bengio认为注意力机制能够帮助机器学习模型获得“有意识”的推理。
此前，诸多算法创新（如自监督学习、元学习、多任务学习、迁移学习等）都是在帮助机器学习获得“无意识” ，也就是与人类直觉、习惯、先验经验等类似的能力。
有了这种能力， AI可以很快地执行一些直觉型的任务，让人感到非常智能。比如当AI被训练学会了一些隐性知识以后，能够将这些知识内化，在遇到新事物时不需要重新训练，就能够很快适应。举个例子，当AI记住路况之后，它能够自如地跟乘客聊天，同时也不耽误自己随时响应交通状况、安全驾驶。这是不是已经超越许多人类驾驶员了呢？

文章图片
但如果是在一个全新的道路上开车，如果有人在耳边吵闹，就会打断人类司机的思路，使对方无法集中精力处理。这时候就要用到前面提到的“有意识的”系统，来将一些新的概念，在新的情况下与不熟悉的东西联系起来。
就像《西部世界》的科学顾问、神经学家大卫·伊格尔曼（DavidEagleman）所说，意识，是一种突破程序设定的连接。
当机器可以超越设定开始自行推理和思考，适应甚至推断出外界变化发生的原因，这不就是Deloris（《西部世界》女主角）们觉醒的时刻吗？
从这个角度讲， “有意识”的推理能力，正是深度学习变强大所需要的。
从超越人到模仿人， AI的回归之路