AI正在与复制危机搏斗( 三 ) ITDaily&AI中国每日最新IT圈AI圈新

Haibe-Kains不太相信。当他要求谷歌健康团队分享其癌症筛查人工智能的代码时，他被告知需要更多测试。该团队在对Haibe-Kains批评的正式答复中重复了这一理由，该答复也发表在《自然》杂志上。 "我们打算在临床环境中使用我们的软件之前，对其进行广泛的测试，与患者、供应商和监管机构一起工作，以确保疗效和安全性。 " 研究人员还表示，他们并没有得到允许分享他们使用的所有医疗数据。
这还不够好， Haibe-Kains说。 "如果他们想以此为基础开发产品，那么我完全可以理解他们不会公开所有的信息。 " 但他认为，如果你在科学期刊或会议上发表文章，你有义务发布别人可以运行的代码。有时，这可能意味着分享一个在较少数据上进行训练或使用较便宜硬件的版本。它可能会给出更糟糕的结果，但人们将能够对它进行修补。 "构建产品与做研究之间的界限正变得越来越模糊， "Haibe-Kains说。 "我认为作为一个领域，我们将会失去。 "
研究习惯是会死的如果企业要被批评发布，为什么还要做呢？当然有一定程度的公共关系。但最主要的原因是，最好的企业实验室里都是来自大学的研究人员。在某种程度上， Facebook AI Research、DeepMind和OpenAI等地方的文化是由传统的学术习惯形成的。科技公司也是通过参与更广泛的研究社区取胜的。所有私人实验室的大型AI项目都是建立在层层公共研究的基础上。而很少有AI研究人员没有利用开源的机器学习工具，比如Facebook的PyTorch或谷歌的TensorFlow 。
随着越来越多的研究在巨型科技公司内部进行，商业和研究的竞争需求之间的某些权衡将变得不可避免。问题是研究人员如何驾驭它们。 Haibe-Kains希望看到像Nature这样的期刊将他们发表的内容分成不同的流：一方面是可复制的研究，另一方面是技术展示。
但皮诺更乐观。 "如果Facebook没有开放的研究方法，我就不会在Facebook工作， "她说。
其他大型企业实验室也强调他们对透明度的承诺。 "科学工作需要该领域的其他人进行审查和复制， "Kavukcuoglu说。 "这是我们在DeepMind研究方法的关键部分。 "
"OpenAI已经成长为与传统实验室截然不同的东西， "该公司发言人Kayla Wood说。 "这自然会引起一些问题。 " 她指出， OpenAI与80多个行业和学术组织合作，在 "AI伙伴关系 "中思考研究的长期发表规范。
Pineau认为，这是有道理的。她认为AI公司正在展示第三种研究方式，介于Haibe-Kains的两股之间。她将私人人工智能实验室的智力输出与制药公司的智力输出进行了对比，例如，制药公司在药物上投资数十亿美元，并将大部分工作关在门外。
皮诺等人介绍的做法的长期影响还有待观察。习惯是否会被彻底改变？这对AI在研究之外的吸收会有什么不同？很多事情都挂在人工智能的发展方向上。例如，越来越大的模型和数据集的趋势--受到OpenAI的青睐--将继续使大多数研究人员无法获得人工智能的前沿技术。另一方面，新的技术，如模型压缩和少数镜头学习，可能会扭转这一趋势，让更多的研究人员能够使用更小、更高效的AI 。
无论哪种方式，人工智能研究仍将由大公司主导。如果做得好，这不一定是坏事， Pineau说。 "AI正在改变关于行业研究实验室如何运作的对话。 " 关键将是确保更广泛的领域有机会参与。因为人工智能的可信度，在很大程度上取决于人工智能，从最前沿开始。
原文标题：AI is wrestling with a replication crisis | MIT Technology Review
原文链接：www.technologyreview.com/2020/11/12/1011944/artificial-intelligence-replication-crisis-science-big-tech-google-deepmind-facebook-openai/
原文作者： Will Douglas Heaven
编译：张亚飞