论文|算力不能被垄断!多所大学研究者呼吁:要填上AI中的计算鸿沟


论文|算力不能被垄断!多所大学研究者呼吁:要填上AI中的计算鸿沟
文章插图
智东西(公众号:zhidxcom)
编 | 子佩
智东西11月12日消息,当我们已经对充斥生活方方面面的AI技术习以为常时,有时候却会忽略一个问题,为什么那些应用和软件都来自于那“几个公司”?
据新财富统计的中国前30大APP,7成隶属阿里或腾讯旗下,两家公司分别都已构建起十万亿投资帝国,分割中国应用生态市场,试图负责中国人民的“衣食住行”;而在美国,从IBM到微软、谷歌,垄断传闻频频爆出……而这些公司业务的快速扩张和地位的不断提升都离不开背后的AI力量,不到十年的时间过去,AI却似乎从学术届的“白月光”变成了科技巨擎之间角力的砝码,有着普通企业不能承受的“千钧之重”。
这种AI创新“贫富分化”的背后,是算力的不平等,是只有大公司和名牌强校才能承担得起的研究成本。
近日,弗吉尼亚理工大学和加拿大西安大略大学的研究人员Nur Ahmed和Muntasir Wahed就算力加剧AI研究不平等的问题进行研究,并在arXiv发表了题为《人工智能的非民主化:深度学习与人工智能研究中的计算鸿沟(The De-democratization of AI: Deep Learning and the Compute Divide in Artificial Intelligence Research)》的论文,该论文从顶会论文发表、研究资金投入和科研人才流动等方面解释了AI研究不平等的产生。
论文|算力不能被垄断!多所大学研究者呼吁:要填上AI中的计算鸿沟
文章插图
论文链接:https://arxiv.org/abs/2010.15581
一、名校大厂强强合作,顶会论文占半壁江山【 论文|算力不能被垄断!多所大学研究者呼吁:要填上AI中的计算鸿沟】在论文中,研究团队调研了从2000到2019年,包括ACL、ICML和NeurIPS在内57个顶会中涵盖计算机视觉、数据挖掘、机器学习和自然语言学习等领域的171394篇论文。
论文|算力不能被垄断!多所大学研究者呼吁:要填上AI中的计算鸿沟
文章插图
2000-2019,一个会议年中各学术机构平均采纳论文数
从上图可以看出,QS前五十的学校和AI公司是AI顶会中的主力军。
在一个会议年的903篇论文中,QS前五十的学校平均发表66篇顶会论文,是第二、三档学校(QS51-100、QS101-200)的近乎两倍,而AI相关公司也勇夺第二,平均发表约42篇论文。
论文|算力不能被垄断!多所大学研究者呼吁:要填上AI中的计算鸿沟
文章插图
2000-2019年,各顶会中校企合作论文比例
而近年来,AI领域校企合作的这股“大风”,也可以从论文合作的数目中很明显地看出来。
各领域校企合作论文的比例都有不同程度的上涨,其中KDD(数据挖掘顶级会议)中合作论文在2020年比例超过50%,ICCV(国际计算机视觉大会)达到45%。
无论是数据挖掘,还是计算机视觉,深度学习都是其中很重要的一部分,而这时候,顶级大学和公司的资金优势就不言而喻了,毕竟训练像AlphaGo Zero和GPT-3这样的大型模型需要价值数百万美元的计算资源。
根据2019年年度AI研究排名,斯坦福大学、MIT、卡内基梅隆大学,加州大学伯克利分校和微软列为领先AI研究会议的六大贡献者。
论文|算力不能被垄断!多所大学研究者呼吁:要填上AI中的计算鸿沟
文章插图
二、学术界人才流失,计算鸿沟问题初现规模较小的学校通常也缺乏资金支持来发展前沿科技,而这时,科技巨头通过向AI研究投入大量资金和高额薪酬,将学术界人才纳入麾下,加速了学术界人才的流失。
论文中也证实了这种人才流动导致的科技水平变化,自深度学习兴起以来,QS 301-500的大学在顶会中的论文平均减少了六篇,比预期少了25%,而世界500强、科技巨头和顶尖大学论文发表情况却截然不同。
论文作者Nur Ahmed和Muntasir Wahed表示:“就我们所知,这篇论文首次证实了资金、设备等因素对AI领域企业和学校产生的巨大影响。我们认为深度学习的兴起极大地提高了计算能力和数据的重要性,进而通过增加成本而提高了准入门槛。”
在分析AI领域趋势时,Nur Ahmed和Muntasir Wahed将人工智能的发展历史划分为两个阶段。第一个阶段是从1960年代到2012年左右,那时使用通用的硬件来训练AI;在2012年后即是第二个阶段,深度学习和如GPU等专门设计的硬件重新定义了AI。
而二人也认为:自2012年以来,基于GPU的深度学习突然兴起,AI越来越变成少数人的“游戏”,大部分玩家来自于顶级公司或大学。要真正实现AI“民主化”,就需要决策者、学术机构和公司层面共同努力,解决横跨在小型机构和学校面前的计算鸿沟。
三、填补计算鸿沟:AI研究云、加大教育投入对于缩小计算鸿沟的具体解决方案,Nur Ahmed和Muntasir Wahed认为建立国家统一的AI研究云是很有必要的。今年6月,美国多所大学、科技公司和参议院议员都表示支持建立国家AI研究云,通过共享公共数据集帮助算力不够的机构训练和测试AI模型。