中科院自动化所余山对大脑的未知,并不阻碍借鉴大脑,成就智能


中科院自动化所余山对大脑的未知,并不阻碍借鉴大脑,成就智能
本文插图
编辑 | 贾伟
他山之石 , 可以攻玉 。 对于人工智能研究 , 脑科学无异是最重要的「他山之石」了 。
中科院自动化所余山对大脑的未知,并不阻碍借鉴大脑,成就智能
本文插图
5月19日 , 在中国图象图形学学会主办的「CSIG·云讲堂」上 , 中国科学院自动化研究所余山研究员作了“从脑网络到类脑网络计算”主题报告 。 余山研究员借鉴Marr对视觉体系的划分 , 将类脑计算的研究分为四个层面:硬件、算法、计算、学习 。 针对每一层面 , 余山研究员做了或简或详的介绍 , 颇有启发 。

中科院自动化所余山对大脑的未知,并不阻碍借鉴大脑,成就智能
本文插图
余山研究员认为 , 尽管当前人类对大脑的认知并不充分 , 但这并不阻碍智能研究的各界人士去借鉴已有的神经科学和脑科学的知识 , 从而来发展对智能系统的研究和设计 。
硬件层面:存算一体设计结构
中科院自动化所余山对大脑的未知,并不阻碍借鉴大脑,成就智能
本文插图
传统计算机使用的是冯诺依曼架构 , 其基本架构如上图所示 , 包括控制器、运算器、记忆单元、输入系统和输出系统等五个组成部分;其中控制器和运算器构成了处理单元(CPU) 。
做数据处理时 , 计算机把数据从存储单元调到处理单元 , 运算之后再返回到存储单元 。 但这种操作方式 , 会导致存储单元和处理单元之间进行非常高频的数据搬运 , 从而带来极高的能耗 。
中科院自动化所余山对大脑的未知,并不阻碍借鉴大脑,成就智能
本文插图
图注:其中时钟频率代表数据在存储单元和处理单元之间调用的速度 。 能量频率代表功率 。
尽管近年来计算机有高速的发展 , GPU时钟频率不断提升 , 但随之而来的也是能量密度的逐年提升 。 以IBM在2000年开发的一个用来做生物信息学研究的计算机为例 , 其包含了144TB的内存 ,14万个处理器 , 功耗高达1.4兆瓦 。 每当这台计算机运行时 , 就必须有一个专门的电站为其供能 。
反过来 , 我们看人脑 , 具有如此高的智能 , 然而其功耗却只有20瓦左右 , 仅相当于一颗黯淡的白炽灯的能耗 。 如此大的差别 , 原因是什么呢?原因自然很多 , 但重要的一点是 , 不同于冯诺依曼机 , 人脑的计算是“存算一体” 。 在人脑的神经网络中, 信息的存储和处理并不分开 , 神经网络本身即是存储器 , 又是处理器 。
中科院自动化所余山对大脑的未知,并不阻碍借鉴大脑,成就智能
本文插图
借鉴人脑的这种特点 , 近年来 , 有越来越多的研究团队加入了“存算一体”芯片研制中 , 其中IBM研制的TrueNorth和清华大学研制的Tianjic是这方面最出色的代表 。 这种芯片被称为神经形态或神经拟态芯片 , 极大地解决了数据频繁搬运所带来的能耗问题 。
算法层面:借助突触式信号传递
在算法层面 , 生物脑和人工神经网络之间也有非常重要联系 。 余山研究员在报告中提了两个例子 。 第一个例子是突触的概率释放与Dropout算法之间的关系 。
中科院自动化所余山对大脑的未知,并不阻碍借鉴大脑,成就智能
本文插图
生物神经网络中 , 神经元之间的连接是通过一个叫做突触的结构进行的 , 这个结构也是两个神经元之间进行信息交互的地方 。 当前神经元有一个动作电位时 , 它会释放某种神经递质 , 这种递质被后神经元吸收之后便会转化为电信号 , 从而实现电信号在神经元之间的传递 。
这里面两个神经元之间信息传递的关键是:电信号促使化学物质释放 。 这种方式存在缺点 , 即神经冲动导致神经递质释放并不总是成功——成功概率的中位数仅在0.2~0.3之间 , 也即有80%左右的概率会出现信息传输失败 。 然而 , 如此低的成功率却有它独特的意义 。 低成功率 , 可以使神经网络更快、更好地学习 。