智东西OpenAI追踪AI模型效率：每16个月翻一番！超越摩尔定律智东西（公众号：zhidxcom）编|储信仪

文章图片
智东西（公众号：zhidxcom）编|储信仪
导语：OpenAI提出衡量机器学习算法进展的基准测试方法，算法效率每16月翻一番，吊打摩尔定律！
智东西5月6日消息，昨日， OpenAI宣布将开始追踪效率最高的机器学习模型，该举措推出了新的评价指标，可用以量化模型的扩展规模和整体性能，从而可实时公示效率最高的模型，为行业提供参考。
在前期调查期间，该公司发表了一份分析报告，指出与2012年相比， 2019年的神经网络训练到AlexNet水准所需的计算量减少到原来的1/44 ，相比之下，摩尔定律在相同时间内效率的增长只有11倍。这表明算法效率在7年的时间里每16个月翻一番。
分析结果表示，对于大量“吸金”的AI任务，算法效率的提升比传统的硬件效率提升的速度更快，因此算法可节省更多算力，以此节省AI任务的运行成本，产生更多收益。
一、算法多吃算力？每16个月效率翻倍
推动人工智能发展的有三个因素：算法创新、数据和算力。传统上，算法的进展比算力和数据更难量化。算法效率可以被定义为减少训练特定功能所需的计算量。效率是衡量经典计算机科学问题（如排序）的算法进度的主要方法。
OpenAI表示，除了关注时下最新的最佳AI模型之外，公开衡量效率将描绘出算法进展的定量情况。这将通过重新关注AI的技术属性和社会影响，为决策制定提供依据。
OpenAI在博客中写道：“算法改进是推动AI发展的关键因素。尽管这比度量计算趋势更难，但寻找能够反映整体算法进展的度量是很重要的。 ”算法效率的提高使得研究人员可以在给定的时间和预算内进行更多有趣的实验。分析表明，决策者应该增加对学术界计算资源的资助，以便学术研究成果能够复制、再生以及扩展行业研究。

文章图片
▲OpenAI观察到16个月AI模型的效率倍增时间（任意给定时间的最低计算点用蓝色表示，测量点用灰色表示）
OpenAI表示，在调查过程中，它发现谷歌的Transformer架构超越了以前由谷歌开发的最先进的模型——seq2seq ，在seq2seq引入三年后，其计算量减少至原来的1/61 。 DeepMind的AlphaZero系统，从零开始自学如何掌握国际象棋、围棋和日本将棋，一年后，它的计算量比该系统的前身AlphaGoZero的改进版少至1/8 。而仅三个月后， OpenAI自己的Dota2玩法Rerun运行所需的训练计算就减少至1/5 ，从而超过了基于OpenAIFive的模型。

文章图片
▲AI“Rerun”和“OpenAIFive”对战
OpenAI从对集成电路中晶体管数量每两年翻一番的现象推测，算法效率带来的收益可能会超过摩尔定律。 OpenAI表示：“新功能通常需要大量的计算才能获得，由于流程改进，这些功能的改进版本部署起来会更有效率。 ”

文章图片
▲AI计算趋势及结果整合
【智东西OpenAI追踪AI模型效率：每16个月翻一番！超越摩尔定律】二、多家机构将AI模型效率基准测试提上日程
作为基准测试工作的一部分， OpenAI表示将从视觉和翻译效率基准（特别是ImageNet和WMT14）开始，并考虑随着时间的推移增加更多基准。测试工作不允许使用人为字幕、其他图像或其他数据，但是对用于翻译或增强的训练数据没有任何限制。
OpenAI表示：“行业领袖、决策者、经济学家和研究人员都在努力更好地了解AI的发展进步，并决定他们应该投入多少注意力，以及把注意力放在哪里。测量工作可以帮助做出这样的决定。 ”
论文研究指出，研究者观察到硬件和算法的效率在有意义的范围内提高了一倍，这表明，一个好的AI进展模型应该整合两者的度量。除此之外，研究人员还观察到，以指数速度训练高兴趣任务的AI模型比摩尔定律训练成本更低。