英论阁|学术界该相信AI还是审稿人？学术界该相信AI还是审稿人？

文章图片
学术界该相信AI还是审稿人？
【英论阁|学术界该相信AI还是审稿人？】匿名且具有各种回避措施的同行审阅是今日大部分学术期刊依赖的评审制度，也就是整个学术界的支柱，随着全球高等教育水平的提升及科研的快速发展，许多顶级期刊及国家级科研单位在手稿及资助的审阅分量日益增加，担任同行审阅的审查人工作分量呈现超饱和状态，成为整个学术界亟待解决的问题。
2016年美国数字媒体公司VoxMedia旗下新闻网站Vox发表了一篇针对英语世界科研人进行的调查，提出同行评审崩坏的观点。那么国内的情形呢？最近陆续有NeurIPS曝出，启用了刚毕业且没有中过NeurIPS论文的本科生担任审稿人，人工智能顶会IJCAI19遭同样批评，就在刚刚11月初，深度学习领域顶级会议ICLR2020被爆47%审稿人无相关经验，因为资深学者抵不上新进学者的成长速度，早前，有人担心，这样的现象最终会摧毁整个学术界。
汉语世界的同行审阅到底压力有多大？国家自然科学基金委员会（NationalNaturalScienceFoundationofChina ，简称NSFC）在2018年就评审了22.5万份基金申请，几乎是美国国家科学基金会收到的6倍，而且数字还在成长中。在缺乏足够审稿人的现实下， NSFC被迫进行了创新：今年5月Nature发表文章称， NSFC正在建立一个更加复杂的系统，将利用自然语言处理技术抓取在线科学文献数据库和科学家的个人网页，收集潜在评审人员的出版物或研究项目的详细信息。 NSFC负责人李静海表示，还希望这个工具能够减少审稿人评审时的偏见，并且AI是不会被行贿收买的。
2017年Elsevier开发了一套名为“Evise”的自动化工具来帮助进行同行评审， Frontiers也在2018年推出下一代通常评审AIRA ，试图解决日益增长的稿件提交量，并更有效地保护稿件和同行评审质量。今年4月挪威研究委员会开始使用自然语言处理技术，将大约3000份研究提案分组，并将它们与最佳评审小组进行匹配。 Frontiers的质量和道德高级经理MarieSoulière表示， AI系统能标记有潜在问题的稿件，告知需要手动检查的内容，使审查更加准确，在抄袭检查方面超越人工检查的成果。
事实上， AI文件审查系统并非学术界的创举， 2018年3月，专攻合同审查领域的AI初创公司LawGeex与斯坦福大学、杜克大学和南加州大学的法学教授合作，让20名律师与经过训练的法律AI程序挑战，审查5项保密协议，并确定30个法律问题，结果律师平均正确率为85% ， AI则拿下了94％的正确率达，而且AI只在26秒内完成任务，人类律师平均需要92分钟。
然而，许多学术界人士对AI参与同行审阅保持怀疑的态度，最大的质疑是AI连自然语言的处理都还无法过关，又如何处理学术期刊审阅呢？其他人则担心AI系统最终会复制人类判断中根深蒂固的偏见，还有学者举出，一个想法可能需要几十年的时间才能被鉴定是“伟大的”或是“无用的” ，连人类都无法处理的议题，难道AI真的可以做得好吗？其实质疑AI参与审阅的人大可先作壁上观，因为审稿人握有最终决定权力， AI只是改善或加速流程，并协助人类处理必须投入大量心力才能抓到的错误，由于AI已经能够在专门的领域特定功能上达到很好的表现，相信AI与审稿人的合作将是学术界的趋势。