AI正在与复制危机搏斗( 二 ) ITDaily&AI中国每日最新IT圈AI圈新

能做什么呢？像许多人工智能研究人员一样， Pineau在大学和企业实验室之间分配时间。在过去的几年里，她一直是改变人工智能研究发表方式的推动力。例如，去年她帮助引入了一份清单，研究人员在向NeurIPS（最大的AI会议之一）提交论文时必须提供的东西，包括代码和实验的详细描述。
复制是自己的奖励皮诺还帮助发起了一些重现性挑战，研究人员试图复制已发表的研究结果。参与者选择已被会议接受的论文，并竞争使用提供的信息重新运行实验。但唯一的奖品是嘉奖。
这种缺乏激励的做法是整个科学领域这种努力的障碍，而不仅仅是在人工智能领域。复制是必不可少的，但它没有得到奖励。一个解决方案是让学生来做这些工作。在过去的几年里， Yoshua Bengio在蒙特利尔创立的研究机构Mila的博士生Rosemary Ke组织了一个可复制性挑战，学生们尝试复制提交给NeurIPS的研究，作为他们机器学习课程的一部分。而一些成功的复制则会经过同行评审，并发表在ReScience杂志上。
"从头开始复制另一篇论文需要相当大的努力， "Ke说。 "可复制性挑战承认这种努力，并给那些做得好的人以荣誉。 " Ke和其他人还在人工智能会议上通过设立的研讨会传播信息，鼓励研究人员使他们的工作更加透明。今年， Pineau和Ke将可重复性挑战扩展到了7个顶级AI会议，包括ICML和ICLR 。
另一个推动透明度的项目是由AI研究者Robert Stojnic在剑桥大学时设立的Papers with Code项目。 (Stojnic现在是Pineau在Facebook的同事。 )作为一个独立的网站推出，研究人员可以将一项研究链接到与之相关的代码，今年Papers with Code开始与流行的预印本服务器arXiv合作。自10月起， arXiv上所有的机器学习论文都带有Papers with Code部分，直接链接到作者希望提供的代码。目的是让共享成为常态。
【AI正在与复制危机搏斗】这样的努力是否能带来改变？Pineau发现，去年，当检查表被引入时，研究人员在提交给NeurIPS的论文中包含代码的数量从不到50%跃升至75%左右。数千名审稿人表示，他们使用代码来评估提交的论文。而参与重现性挑战的人数也在不断增加。
令人吃惊的细节但这只是一个开始。 Haibe-Kains指出，仅靠代码往往不足以重新运行一个实验。构建人工智能模型需要做很多小的改动--这里添加参数，那里调整数值。其中任何一个都可能使模型工作和不工作之间产生差异。如果没有描述模型如何训练和调整的元数据，代码可能毫无用处。 "魔鬼真的在细节中， "他说。
首先也不一定清楚到底要分享什么代码。许多实验室使用特殊的软件来运行他们的模型；有时这是专有的。 Haibe-Kains说，很难知道有多少支持代码也需要共享。
Pineau并不太担心这样的障碍。 "我们应该对共享代码抱有非常高的期望， "她说。共享数据比较棘手，但这里也有解决办法。如果研究人员不能分享他们的数据，他们可能会给出方向，以便其他人可以建立类似的数据集。或者你可以有一个过程，让少数独立的审计人员获得访问数据的权利，为其他人验证结果， Haibe-Kains说。
硬件是最大的问题。但DeepMind声称，像AlphaGo或GPT-3这样的大项目研究会产生涓滴效应，富人实验室花的钱最终会带来惠及所有人的结果。在早期阶段，由于需要大量的计算能力，其他研究人员无法获得的人工智能，往往会随着发展而变得更高效--从而更容易获得。 "AlphaGo Zero超越了最初的AlphaGo ，使用的计算资源要少得多， "DeepMind研究副总裁Koray Kavukcuoglu说。
从理论上讲，这意味着即使复制被延迟，至少也是可能的。 Kavukcuoglu指出， Mozilla公司的比利时编码员Gian-Carlo Pascutto在空闲时间编写棋类和围棋软件，他能够使用DeepMind在论文中概述的算法，重新创建一个名为Leela Zero的AlphaGo Zero版本。 Pineau还认为，像AlphaGo和GPT-3这样的旗舰研究是罕见的。她说，大多数人工智能研究都是在普通实验室可用的计算机上运行的。而这个问题并不是AI独有的。 Pineau和Benaich都指出，在粒子物理学中，有些实验只能在大型强子对撞机等昂贵的设备上完成。
但在物理学中，大学实验室会在大型强子对撞机上进行联合实验。大型人工智能实验通常是在公司拥有和控制的硬件上进行的。但即使是这种情况也在改变，皮诺说。例如，一个名为Compute Canada的团体正在将计算集群放在一起，让大学运行大型AI实验。包括Facebook在内的一些公司也让大学有限地使用他们的硬件。 "还没有完全实现， "她说。 "但有些门正在打开。 "