人工智能|张亚勤:第四次工业革命来了!有三个领域将带来巨大影响( 二 )


人工智能|张亚勤:第四次工业革命来了!有三个领域将带来巨大影响
文章插图
我个人并不完全同意这个观点,但是不管怎么讲算力在过去这几年是整个深度学习发展快速的一个大的最重要的因素,大数据超算的能力以及很大的模型。举例比如说GPT-3目前已经有1700亿的参数模型有上万台GPU,200多K或者说20多万的CPU的Core。每次做Pre-train的话也要差不多要上千万美金,这个量已经很大了。那么如何能够继续保持这么快的一个算力?我们看一下我们在传统计算和通讯的范式里三个基本原理。
首先是香农定律。香农定律定义了信息熵,定义了信道的容量,定义了速率失真的理论。其实是三个不同的极限。另外一个是冯诺依曼架构,是我们计算的架构,十分的简洁很美的一个架构。过去的60年是我们整个计算架构的主要原则。另外一个是摩尔定律。
人工智能|张亚勤:第四次工业革命来了!有三个领域将带来巨大影响】那么现在呢这三个定律架构都遇到了瓶颈,所以要大幅度的提高这个算力的话,我们需要来突破这三个瓶颈。比如说在信息的表示方面,我们需要有新的一个理论框架以及算法。我这张图是讲的一个例子。最近有一个机构叫MPAI,这个机构就希望把人工智能算法用到我们目前的信息的表征,同时的话又希望找到新的算法来对人工智能有更快的推进。
另外一点也可以看到最近有许多新的创新在计算的架构方面。在通讯的架构方面,比如说我们深度学习,其实它需要有特别高速的数据传输,他们有一些新的相量,需要有先进代数,有波尔代数,这种优化的这些算法。这个和我们现在传统的冯诺依曼架构是格格不入的,就是需要有新的架构。
所以看到我们比如说有,在过去这5年吧,有很多加速器,就是AI的加速器出现,像SPG、GPU,最近几年也有这种ASIC专用的AI芯片出现,这种芯片因为对这些算法,对工作流,对workload可以提高CPU提高很多倍,从整个的性能、效率来讲。
那么同时也可以看到不仅仅是传统的芯片公司,像因特尔、AMD等公司做芯片,现在新的公司也在不断的创新,比如说寒武纪、地平线,华为,也包括其他公司像谷歌和百度也在自己做芯片。做芯片算法也好,架构也好有很大的工作流,所以他可以对这些进行优化。
我们可以看到有很多很多的这些芯片、软件、架构以及算法方面的快速进展。那么这些进展带来很多产业的新机遇。首先对我们IT的产业有一个提升的作用,新的数据,新的算法,新的场景,然后不断的快速迭代,所以提升我们的IT产业,同时更重要的是改变甚至颠复我们现在的传统产业,教育、医疗、金融、制造、交通,可以说每一个产业都被人工智能所改变。
人工智能|张亚勤:第四次工业革命来了!有三个领域将带来巨大影响
文章插图
同时AI也催生了新的产业,大家经常把它叫做第四次工业革命,我的确同意这个观点。就是人工智能是第四次工业革命一个很重要的技术方面的引擎,很多产业都会被改变,都会产生。我自己认为有三个方面是比较感兴趣的:第一个是自动驾驶。第二个是工业物联网。第三个是AI+医疗、生物计算。当然也很有很多很多别的产业,这也是为什么我们成立了一个智能产业研究院的大背景。这当然是在清华大学整个学校大框架下面,因为可以和清华大学各个院系密切合作,智能产业的英文简称(AIR),使命是用人工智能技术赋能产业推动社会的进步,目标是面向第四次工业革命,是一个国际化,智能化,产业化的应用研究机构。实现这个目标有几个战略:首先是要吸引培养国际视野的技术领军人物。第二点是要实现关键核心技术方面的突破,更重要的是有了技术以后,我们要赋能产业,通过转化孵化公司的方式,把这些技术能够对产业有更多的影响力。所以我们的研究领域目前集中在三个方面。
刚才我提到的三个方面:智能交通、工业互联网、AI+IoT以及智慧医疗AI+IoT,特别是生物计算,那么垂直的这三个行业是对一些基础的平台所支撑的共有模块所支撑,叫做“ABCD”。AI的一些算法、Bigdata的模型加上云Cloud和Device这种新机构。我希望通过我们的研究院新的技术能和产业去合作,对中国和全球人工智能产业,第四次工业革命都做出贡献。谢谢大家,祝我们乌镇互联网峰会圆满成功!