论文|二十载AI论文大调查,十万多篇论文分析“学界鸿沟在加剧”
文章插图
作者 | 蒋宝尚
编辑 | 陈彩娴
近日,著名科技网站venturebeat发表了一篇名为“深度学习时代,计算鸿沟正在集中权力,加剧不平等”的文章。
文章插图
在文中,作者引用了几篇论文,从顶会论文发表、研究资金投入和科研人才流动等方面说明了以下几个现象:
QS排名前五十的学校平均发表66篇顶会论文,是第二、三层次学校(QS51-100、QS101-200)的近乎两倍,而AI相关公司的生产力也远超这些学校,平均发表约42篇论文。
自深度学习兴起以来,QS 301-500的大学在顶会中的论文平均减少了六篇,比预期少了25%。
2004年至2018年之间学术界前所未有的人才流失。
对于这些现象的背后原因,文章作者归纳为:GPU。作者表示,以GPU为代表的AI资源正在像大企业和顶级名校集中,会导致两极分化的马太效应。
1
学界不平等的来源:研究方式的转变
文章插图
在文章中,作者引用的第一篇论文是来自弗吉尼亚理工大学和韦仕敦大学的合著“The De-democratization of AI: Deep Learning and the Compute Divide in Artificial Intelligence Research”。这篇论文研究了从2000到2019年,包括ACL、ICML和NeurIPS在内57个顶会,涵盖的领域包括:计算机视觉、数据挖掘、机器学习和自然语言学习等,调查样本总数多达171394篇论文。
在这篇论文中,作者也证明了:“计算”在人工智能研究中发挥的作用越来越大。
作者认为,当前计算机科学研究依然依赖算法、硬件、以及专用软件的综合作用 。而计算在人工智能历史中,起到了“突破”和“确定研究方向”的作用。换句话说,在决定研究方向方面,计算机可以发挥超乎寻常的作用,算法或软件在其中起到的作用相对弱一些。
硬件确实改变了人工智能的研究格局。2012年之前,研究人员主要依赖通用硬件或者CPU。因此,那个时候,大多数研究人员使用相同的软件和硬件,比拼的是算法的优越性。
然而,在现代人工智能的研究中,由于有专门的硬件可用,因此,研究人员并不处于平等的地位。
另外,在一些大公司中,它们往往拥有高质量的专有数据集,用这些训练数据集,有助于产生高度精确的深度学习模型。最近的研究表明,Facebook、谷歌和亚马逊等大公司凭借其专有数据在人工智能研究中拥有优势,而其他资源不充足的机构却无法获得这些计算以及大型数据集。
在人才方面,这些有钱的企业往往也更能招聘和留住人才,当然这些人才借助优势的计算的数据也更能发挥自己的能力。
放眼整个人工智能的发展,正如2019年美国白宫在一份人工智能报告中,将核心问题归纳为:“[……]工业凭借其持续的资金支持,以及对先进计算设施和数据集的获取,对学术研究和教学人才产生了强大的推动作用。”
2
近二十年顶会调查:名校大厂占据半壁江山
文章插图
上图展示的是57个人工智能和非人工智能会议汇总数据,以会议年为单位,涵盖2000~2019近20年的非平衡面板数据。论文总数达171394篇。
根据上述“描述性”表格,我们得知,大学机构排名和平均“出版”之间存在很强的相关性,一些有着精英名号的大学,在计算机领域也有着非常强的影响力,这些大学平均每个会议年发表66篇论文。世界排名(QS)51~100的大学,则只有35篇论文。而排名在101-200之间的近100所大学,只发表了32篇论文。
在公司层面,每年平均发表42篇,而大公司却有23篇,占比一半以上。
文章插图
图注:0.30表示某一年该会议上,30%的论文至少有一位合著者是公司员工
为了更加直观的体现公司在科研中的作用,作者用上图展示了在一段时间内,与公司相关的论文在人工智能会议上的份额。上图表明,在最“著名”的十个会议中,都在经历“公司力量”的上升趋势。
此外,上图也说明了,各领域校企合作论文的比例都有不同程度的上涨,其中KDD(数据挖掘顶级会议)中合作论文在2020年比例超过50%,ICCV(国际计算机视觉大会)达到45%。
文章插图
上图展示了非人工智能会议中,公司所占份额,此图展示的结果和上图不同,在大多数情况下,公司发表论文的情况是相对稳定的。值得注意的一点是,2012年前,人工智能和非人工智能会议的企业参与率相似,只有在2012年ImageNet取得震撼成绩之后,才有更多的公司参与到人工智能中来。
- 推新标准建新生态,下载超198亿次金山发力海内外
- “树标提质”提升“软实力”数字经济时代创新载体大有可为
- 时代|时代成就了张一鸣
- 骁龙|中兴天机Axon 20 5G 至尊版发布:屏下镜头 搭载骁龙765G
- 航空工业|航空工业沈飞车工孙飞:二十载磨砺锋芒出
- 网络|最新消息!2020年后Flash Player搭载重橙网络继续运营
- 社会化|《中国视频社会化趋势报告》发布 视频成为重要信息载体
- 骁龙|realme新系列产品即将发布 或将搭载旗舰芯片骁龙875
- 骁龙|中兴天机Axon 20 5G至尊版来了:屏下摄像头 搭载骁龙765G
- Redmi|Redmi Note 9系列发布,搭载天玑800U具备超强5G性能