娱乐家常菜|机器学习的训练成本难题，FB最大模型训练一轮电费就好几百万( 二 ) 大数据文摘出品来源：economist编译：

除了并行，其他优化也很重要。 Cerebras的创始人之一安德鲁·费尔德曼指出， AI模型花费了大量时间来进行乘零操作。而因为这些计算结果总时零，所以其实很多都是不必要的，所以Cerebras的芯片就尽量避免执行这些运算。同时， Graphcore的Toon先生说，与许多任务不同，现在AI并不需要超精确的计算。这也意味着芯片设计人员能通过减少运算所需的精度来节省能耗。（而计算精度到底能降到什么程度仍是个开放性问题。）
之后所有这些因素都能综合起来获得更大提升。 Toon就认为Graphcore当前的芯片效率是GPU的10到50倍。
现在类似的创新变得越来越重要，因为对算力需求激增正赶上摩尔定律逐渐失效的时候。现在缩小芯片变得越来越困难，而且带来的收益也越来越小。去年， Nvidia的创始人黄仁勋直言不讳地说：“摩尔定律失效了” 。
量子解决方案和神经形态方案
因此，现在研究人员还在寻找更多的解决方法。其中一种是量子计算，利用量子力学的反直觉特性为某些类型的计算进行大幅提速。关于机器学习的一种思考角度是将它看作是一个优化问题，而计算机试图在数百万个变量中进行权衡从而求出尽可能最小值。微软量子系统部门负责人KrystaSvore说，一种称为格罗弗算法的量子计算技术具有巨大的提速潜力。
另一种想法是从生物学中获得启发，认为当前的蛮力方法并不是唯一的方法。当Cerebras的芯片运行起来，功耗大约为15kw ，足以为数十座房屋供电（相同数量GPU能耗更多）。而相比起来，人脑消耗能量就只有大概20w ，只有前者的千分之一，而人脑在许多方面都比硅芯片更聪明。因此，英特尔和IBM等公司正在研究“神经形态”芯片，希望设计出更能模仿生物大脑神经元电行为的组件。
但到目前为止，这两条路都还很遥远。量子计算机在理论上相对容易理解些，但尽管有谷歌，微软和IBM等技术巨头投入数十亿美元，实际搭建却仍是个巨大挑战。而神经形态芯片虽然是用现有技术构建的，但让设计人员很气馁的是，就连神经科学家都还不怎么了解大脑究竟在做什么以及怎么做到的。
这意味着，在可预见的未来， AI研究人员将不得不继续尽可能地压榨现有计算技术性能。而Toon先生对此还是很乐观的，他认为通过更专业硬件以及调整现有软件让训练更快，也还是能带来很大收益。为了说明这个新领域的发展，他用电子游戏打了个比方：“现在我们已超越了乓（Pong），可能到了吃豆人。 ”
没有钱来进行训练的穷炼丹师们理所当然地希望他说的是对的。
相关报道：
https://www.economist.com/technology-quarterly/2020/06/11/the-cost-of-training-machines-is-becoming-a-problem