硅谷教父John Hennessy：我们正站在计算机架构第五时代的门槛上( 二 ) 作者|蒋宝尚编辑|青暮近日

第四个时代即将结束，因为登纳德缩放定律和摩尔定律正在经历它的“没落王朝” ，我们正站在第五个时代的门槛上，这个时代的重点以及趋势是专用处理器。
2 第五时代属于专用处理器
文章插图
如上图所示， 80年代中期至千禧年这段时间，计算机的性能每年能提高 52% 左右。而在过去五~六年期间，每年只有3.5%性能提升。
文章插图
更为具体一些，，自2012年以来，随着功率的增加，我们的芯片每纳米消耗的电力越来越多，这意味着增加了能源消耗，降低了效率。因此，登纳德缩放定律的终结意味着工程师必须找到更加高效的利用方法。
文章插图
能耗真的很重要，尤其是在过去的20年里，手机、IOT、大型的云服务的崛起，降低能耗已经成为重要成本花费。于是，我们看到处理器达到温度极限的现象，因此芯片过热而自动停止工作等设计也浮出水面，但即使设计非常巧妙，热量和电池仍然是限制因素。
我们必须改变架构设计，提高能耗的效率，在相同功率的情况下提高性能。其实，回顾历史，计算机架构每一个时代的总结都伴随着能耗极限的到来，例如2005年我们结束指令级并行，开始了多核的研究。
但是，在多核系统中，存在着某些规律的制约，意味着我们永远无法达到能源利用的上限。因此，通用处理器碰壁了。问题在于缓存变得越来越大，在性能博弈方面，得到的回报是递减的，而能耗却在继续扩大。
文章插图
这时候我们必须问：有没有其他的有效方法？
目前，以软件为中心的方法正在努力提高效率。我们使用脚本语言(如Java或Python)进行编程。它们属于解释性语言并且属于动态类型，因此在一定程度上具有重用性和灵活性。
这带来的缺点是：对于程序员来说是高效的，但是执行效率有待提高。
另一种思路是：以硬件为中心。其设计想法是设计针对特定问题和领域的架构（特定领域的体系结构（DSA））。这种特定领域的可编程处理器，通常是图灵完备的，效果拔群。但其缺点在于：只能执行少数任务。
而事实上，我们将两种方法结合：将特定领域的语言与旨在优化该语言执行的架构一起使用。
3 算力被锁死？顶层设计仍有希望
文章插图
上图是MIT、英伟达、微软的研究者在《Science》上的文章，描述了性能提升软件方面的潜力。
具体而言，上图描述的是：Python 代码实现两个 4096×4096 的矩阵相乘的时候，代码在一台现代计算机上做该矩阵乘法需要 7 个小时，用 Java 实现的代码（Version 2）速度可以提高到原来的 10.8 倍，用 C 语言（Version 3）又可以提升到 Java 的 4.4 倍，运行时间比最初的 Python 版本快 47 倍。这种性能的提升来源于程序运行时操作数量的减少。
此外，根据硬件的特点来调整矩阵乘法的代码甚至可以让运行速度提升 1300 倍。最终，代码优化的方法可以把这项任务所需的时间减少到 0.41 秒，这跟需要 7 个小时运行的 Python 相比速度提升了 6 万倍。
诚然，这是一个相对容易优化的简单例子，但是我觉得这里面显示了一些机会。对于特定领域的架构，根据领域的特点来定制架构，从而达到更高的效率。这并不只是针对一个应用，而是针对一整个领域的应用。值得一提的是，这些特定领域的架构虽然可以进行一系列密切相关的应用。但与通用处理器相比，它们需要更多的特定领域知识。
因此，你只有以更加深层次的方式了解应用，才能获得一些性能的提升。深度学习其所针对的神经网络处理器就是非常好的例子，我们可以看到GPU已经彻底改变了图形计算的性能。
文章插图
GPU只是冰山一角，对特定领域进行定制处理器的需求巨大，当前在机器学习社区，更多人的研究方向是如何用机器学习处理数据，而不是编写大量代码尝试生成有趣应用程序的新方法。目前，机器学习发表论文的增速已经和摩尔定律一样快了。