按关键词阅读:
11月初,2020年度国家科学技术奖励名单发布,陈云霁主持的「深度学习处理器体系结构新范式」项目获得国家自然科学奖二等奖。
该获奖项目的参与人均来自中国科学院计算技术研究所,除了陈云霁研究员,还有陈天石研究员、杜子东博士、孙凝晖院士与郭崎研究员,可以说集结了人工智能与高性能计算双领域的两派高手。
计算机领域无人不知:陈云霁与陈天石等人开发出国际首个深度学习处理器芯片寒武纪1号,引起全球范围内的广泛关注,陈云霁与陈天石也因此被国际科学顶刊Science刊文评为AI芯片的「先驱者」。
传统上认为,处理器芯片的研究创新偏向「从无到有」的发明系列。而这次计算所团队的工作获得的是处理器芯片领域历史上首个国家自然科学二等奖。国家自然科学奖是中国五个国家科学技术奖之一,授予在基础研究和应用基础研究中阐明自然现象、特征和规律、做出重大科学发现的公民。
因此,AI科技评论第一时间联系了陈云霁本人,就本次获奖项目与深度学习处理器的相关研究内容与陈云霁教授进行了较为深入的交流。
据陈云霁介绍,他们本次获得国家自然科学奖二等奖的项目主要是从理论上阐明了深度学习算法在硬件上执行的共性基本规律,从而形成了深度学习处理器这样一种体系结构新范式。
例如,他们发现深度学习在计算上的五个最基本算子:向量、矩阵、距离、非线性函数与排序。如同乐高拼插件,基于这五个算子设计出的深度学习处理器,可以处理成千上万、不断演进的深度学习算法。这为后来者在深度学习处理器方向发力做出了重要的指导作用。
此外,陈云霁介绍,这十多年来,他们主要在做两件事:一是开发深度学习处理器助力人工智能计算,二是反过来,用人工智能方法指导芯片的设计,该方向也日益受到学者们的关注。
【 对话陈云霁:深度学习处理器之外,用人工智能指导芯片设计也渐成趋势|独家 | 陈天石】1、获奖项目详情
AI科技评论:能否介绍一下这次获奖项目(「深度学习处理器体系结构新范式」)的研究背景?
陈云霁:人类社会开始逐渐进入智能时代,其中最核心的技术之一就是深度学习。深度学习对计算量的需求非常大,因为里面的模型往往是一个大规模的多层人工神经网络。一般来说,模型的规模越大,层数越多,潜在的表达能力就越强。某种意义上来说,计算量与智能水平之间的关系是正相关的。那么,这就带来一个问题:传统的芯片不一定适合深度学习的计算模式。所以我们提出了深度学习处理器这样的新体系结构范式,用来应对深度学习的任务。
所谓「范式」(paradigm),就是「受到广泛认可的模式」。比如说,CPU(中央处理器)就是一种范式,有很多企业参照 CPU 这个范式做出了各种各样的 CPU 来。GPU(图形处理器)也是一种范式,AMD、英伟达也是根据 GPU 这种范式去设计GPU芯片。我们提出来的深度学习处理器,也是一种范式,大家可以参照这种范式去设计各种各样的处理器芯片。
AI科技评论:深度学习处理器是您与陈天石教授共同提出来的,大概在2014年前后。这个项目也是沿袭了当时的研究吗?
陈云霁:对,是一脉相承的。最开始我们是设计了一个具体的深度学习处理器结构,比如2014年的DianNao,是我们跟法国INRIA(法国国立计算机及自动化研究院)合作的。但一个架构背后的基本规律与范式是什么?就是我们这个项目的贡献。雷锋网
文章插图
图注:国际首个深度学习处理器芯片寒武纪1号
AI科技评论:您是说理论上的研究突破吗?
陈云霁:对。所谓的「范式」,就好比一个模板。具体的深度学习处理器架构,是可以根据这个模板去衍生出来的。过去我们设计一个具体的深度学习处理器,当然也很有意义,但可能会更偏向发明。而我们这次的工作,最主要是找到了深度学习处理器架构背后的共性范式,有了这个范式后,其他高校与企业都可以参照这个范式去设计自己的芯片。雷锋网
AI科技评论:能否具体讲讲范式的内涵?
陈云霁:我们最主要是找到了深度学习算法在硬件上执行的共性基本规律,包括计算、访存和通信。
以计算为例。我们发现,你要设计一个深度学习处理器,可以设计成各种各样,但必须至少支持五种最基本的算子:向量、矩阵、距离、非线性函数与排序。只要你支持好这五种算子,就可以支撑成千上万种深度学习算法。雷锋网
稿源:(雷峰网)
【傻大方】网址:/c/1123a25W2021.html
标题:对话陈云霁:深度学习处理器之外,用人工智能指导芯片设计也渐成趋势|独家 | 陈天石