就好像乐高积木。乐高积木就是通过基本的接插件去拼出各种各样的城堡、飞机等等，我们相当于找到了最基本的乐高接插件。深度学习可能会不断演进或产生新的深度运算，但没有关系，我只要用这五个小乐高就可以把它给搭出来。所以这是我们在自然科学规律上的一个发现。
AI科技评论：这个项目大概是从什么时候开始的？
陈云霁：最早是2008年。当时我们开始探索人工智能和芯片设计的交叉研究。我从2002年开始做芯片设计，我弟弟陈天石从2005年读研开始研究人工智能算法。所以我们就一起探讨人工智能与芯片设计的交叉结合。雷锋网
AI科技评论：我们看到这个项目中还有杜子东博士、孙凝晖院士与郭崎研究员，他们是从什么时候开始加进来的？
陈云霁：最早是我和陈天石，后来孙凝晖院士、杜子东博士与郭崎研究员陆续加进来。深度学习处理器是一系列的工作，我们每个人都在其中做出了自己的贡献。
我跟陈天石可能参与得多一点，方方面面都参与了。杜子东也是比较早参与到这个工作中的，从他读研时开始，在算子之间的融合运算模式中起到了非常关键的作用。郭崎也是从2008年就开始参与，那时候他还是一个博士生，主要是在访存方面做了一些工作。
孙凝晖院士既是我们研究所（中国科学院计算技术研究所）的学术所长，也是我们计算机体系结构国家重点实验室的主任。我们这个工作是一个体系结构的工作，孙院士在计算和通信的体系结构规律的探索上都作出了很重要的贡献。雷锋网
AI科技评论：深度学习处理器是不是高性能计算与人工智能的结合？
陈云霁：我觉得它在很多思想与方法上将这两个方面结合到了一起。如果时间倒退到十多年前，大家可能会觉得高性能计算与人工智能之间没有什么直接关系，因为那时候深度学习方法还不是那么流行。当时人工智能的主流是支持向量机之类的方法，需要的计算量比较小，模型也比较小。
但现在不是这样的。有一个非常有名的例子：2012年，谷歌大脑用1.6万个CPU核去做深度学习训练，教系统如何识别人脸、猫脸等。

文章插图

这是一个明显的、高性能计算与人工智能汇聚在一起的例子，而芯片又是高性能计算中最关键的部分。
这也与我们计算所的长期渊源有关。上世纪80年代末，李国杰院士从国外回来，成立了国家智能计算机研究开发中心。李院士是第一任主任，后来孙院士是第二任主任。我们这些研究实际上也是沿着这个脉络流传下来的。这使得我们的成员对人工智能的发展脉络有比较清晰的理解，其次是启发我们去思考人工智能算法共有的计算模式是什么样的。
AI科技评论：与寒武纪相比，这个项目更多是一个学术研究项目，还是一个工业研究项目？
陈云霁：这完全是一个基础理论研究项目。国家自然科学奖都是面向基础科学研究。基础研究的一个特点是要促进整个人类的进步，尤其是对于计算所这样一个国立科研院所来说，它应该是通过技术研究，能够让国内同行、国外的同行乃至整个社会从中受益。当然，寒武纪1号芯片也受到了这个项目论文的影响。
理论上的指导非常重要。举个例子，如果没有爱因斯坦的质能方程（E=MC^2），所有的核电站都是不存在的。所以，需要有一个基本的理论，然后大家根据这个理论去设计各种各样的具体芯片。所以，它的目标还是推动整个社会的进步。

2、深度学习处理器研究观察
AI科技评论：根据您的观察，应用于深度学习的处理器在体系结构上有什么特点？与用于通用计算的处理器有什么相同或不同之处？
陈云霁：从计算和访存两个维度上来说吧。
从计算维度上看，通用计算最主要是做加减乘除，但对于深度学习处理器来说，最基本的是我刚刚讲的五个算子。
从访存的角度来看，通用 CPU 在访问内存时是一个通道，而深度学习算法有一个共性，是里面的数据可以分为三个流，就像小朋友放学回家、会自动排成三个路队，比如说输入神经元、输出神经元与连接权重。
基于这些客观规律，我们在设计深度学习处理器的部件时，就会针对性地去设计。在计算层面，我们也可以把它拆解成五种共性的基本算法。在访存层面，它可以抽象成一个访存数据流，最后自动聚成三个流。
从实践的角度，具体的芯片你想怎么设计都是可以的。原先你可以把大家强行按在一个通道里。但我们把理论上的客观规律告诉学术界和工业界之后，大家一般就会设计三个独立的通道，兵分三路，那么效率肯定会提高。

稿源：(雷峰网)

【傻大方】网址：/c/1123a25W2021.html

标题：对话陈云霁：深度学习处理器之外，用人工智能指导芯片设计也渐成趋势|独家 | 陈天石( 二 )