机器之心AI算法效率每16个月翻番，超越摩尔定律，OpenAI：长江后浪推前浪( 二 )

此外调研结果表明，对于投入大量研究时间和/或算力的 AI 任务来说，算法效率的提升可能超过了对硬件效率的需求。
作为总体基准测试的一部分， OpenAI 首先进行视觉和机器翻译效率基准测试，特别是在 ImageNet 和 WMT14 数据集，并且之后会添加更多的基准方法。不允许出现人工标签、其他图像或数据，但对用于翻译或扩增增强的训练数据不会施加任何限制。

本文插图
从 ImageNet 数据集上的 79.1% top-5 准确率来看，从 2012 年的 AlexNet 到 2019 年的 EfficientNet ，算力提升了 44 倍之多。

本文插图
从 WMT-14 EN-FR 数据集上的 34.8 BLEU 来看，从 2014 年的 Seq2Seq(Ensemble) 到 2017 年的 Transformer(base) ，算力提升了 61 倍。
算力、算法相结合，继续加大 AI 算法效率的研究投入
OpenAI 表示：「业界领袖、政策制定者、经济学家和潜在的研究人员都力图更深刻地理解 AI 进展，并决定他们应该投入多少以及这些投入的未来走向。 AI 模型效率的基准测试正好可以帮助他们做出正确的决策。」
AI 算法的效率提升虽然可观，但相对于呈指数增长的新算法参数数量来讲还是显得不够。 OpenAI 研究人员提出的「有效计算」概念把算力和算法的提升结合了起来，我们可以直观地看到各领域对于人工智能发展的贡献：

本文插图
看起来，并行计算和芯片制程的提升加起来还是占大头。但正如研究人员得出的结论：我们需要加大对于 AI 算法效率研究的投入。