科技行者深度学习模型并非“越大越好”,它可能引起气候变化问题( 三 )


正如加州大学洛杉矶分校(UCLA)的教授Guy Van den Broeck所说:“我认为对这种情况的一个最好的比喻 , 就是某个富油的国家能够建造一座很高的摩天大楼 。 当然 , 建造这样的东西需要花很多钱 , 还有很多的工程工作 。 你也确实可以在建造这座高楼的时候 , 获得‘最先进的技术’ 。 但是……这件事在本质上并没有什么科学上的进步 。 ”
在当前的人工智能研究领域 , 占据主导地位的“越大越好”思路 , 可能会在未来几年对环境造成重大的破坏 。 需要在这个领域内进行思虑周详但又大胆的变革 , 让人工智能技术的发展变得更加可持续 , 并更具生产力 。
展望未来
首先 , 每一位人工智能从业人员都应该考虑 , 如何在短期内“快速制胜” , 以减轻其研究对碳足迹的影响 。
重要的第一步是 , 提高这个问题的透明度和度量程度 。 当人工智能研究人员们发布新模型的结果时 , 除了性能和准确性指标之外 , 他们还应该公布在模型开发中消耗了多少能量的数据 。
经过深入彻底的分析 , 艾伦人工智能研究所的团队建议 , 将「浮点运算」作为研究人员追踪的最通用、也是最有效的能效度量标准 。 另一组研究人员创建了一个机器学习排放计算器 , 从业人员可以使用这个计算器来评估他们构建的模型的碳足迹(根据硬件、云服务提供商和地理区域等因素) 。
遵循这些思路 , 综合考虑能源成本和性能收益的做法 , 将成为研究人员们在训练模型时的最佳实践 。 明确地量化这种关系 , 将促使研究人员在面对效益递减问题时 , 对资源分配做出更明智、更平衡的决定 。
随着可持续人工智能实践的扩散 , 希望人工智能社区能够在评估人工智能研究的时候 , 开始考虑这些效率指标 , 就像今天我们对传统性能指标(例如准确性)采取的做法一样:在会议论文提交、演讲、学术角色中考虑它们 。
还有一些已经相对比较成熟的方法 , 能够帮助人工智能技术在近期减少碳足迹:使用更有效的超参数搜索方法、减少训练过程中不必要的实验次数、使用更高能效的硬件等 。
但是 , 单靠这些补救措施并不足以解决这个问题 。 人工智能领域需要更根本的长期转变 。
我们需要退后一步 , 并且承认 , 仅仅依靠建立越来越大的神经网络并非通往通用智能的正确途径 。 我们需要推动自己去发现更优雅、更有效的方法 , 来对机器中的智能进行建模 。 我们正在持续不断地同气候变化进行斗争 , 这是一场关乎地球未来的战争 。
在此引用人工智能传奇人物、深度学习教父Geoff Hinton的话:“未来取决于那些‘对我所说的一切’都深表怀疑的研究生……我的观点是将其全部抛弃并重新开始 。 ”
人工智能社区必须开始致力于开创人工智能的新范例 , 这些范例应该既不需要指数级增长的数据集 , 也不需要庞大的能源消耗 。 小样本学习(few-shot learning)等新兴研究领域 , 都是有前途的途径 。
人类的大脑——智力的原始来源提供了重要的启发 。 和当今的深度学习方法相比 , 我们大脑的效率高得不可思议 。 它们只有几磅重 , 大概只需要20瓦左右的能量消耗 , 这个能耗只能够给昏暗的灯泡供电 。 然而 , 它们代表了已知宇宙中最强大的智力形式 。
人工智能研究人员Siva Reddy指出:“人类的大脑用很少的能量消耗 , 就能够完成令人惊叹的事情 。 问题是我们如何建造出这样的机器来 。 ”