学术研究|AI 让学术论文更客观:机器人助手查找利益冲突

神译局是36氪旗下编译团队,关注科技、商业、职场、生活等领域,重点介绍国外的新技术、新观点、新风向。
编者按:客观是科学的基本信条,是学术研究的基石。可一旦论文作者与编辑或评审存在利益冲突时,就很难保证客观性。但是论文的数量又一直在增长,人工已经很难及时检查那么多的论文。怎么办?人工智能可以派上用场。《纽约时报》的Dalmeet Singh Chawla聚焦了协助评审论文的各种AI软件,原文标题是:Do You Have a Conflict of Interest? This Robotic Assistant May Find It First
学术研究|AI 让学术论文更客观:机器人助手查找利益冲突
文章插图
划重点:
客观是科学的基本信条,也是学术研究的基石
如果研究跟商业利益挂钩,作者与编辑、评审存在合作,客观性就会受到影响
过去两个世纪的时间里,研究的数量每年增加了3%,人力无法应对
新涌现了一批辅助检查论文潜在利益冲突的AI
AI不能也没有能力直接进行论文是否通过的决策
科学应该怎么去处理利益冲突?一旦发现存在利益冲突,这就会成为客观性的障碍,而客观是科学的基本信条,也是学术和研究的基石,一旦存在利益冲突,科学家报告背后的真相也会受到质疑。
有时候,利益冲突是很明显的。如果在成果里面研究人员没有披露存在商业利益的资金来源,其研究结果的合法性往往就会受到破坏。此外,当论文作者跟期刊编辑在其他研究上存在广泛合作时,这种利益冲突也是很显然的事情。(这种情况导致某期刊在2017年撤回了两篇论文。)
但是有的情况就要更加微妙些,这种利益冲突就会成为漏网之鱼,尤其是因为很多的期刊的论文都是由小规模团队进行编辑,并由为了履行自己所研究学科的职责而服务的志愿科学家进行同行评审的。再加上学术文献发展的迅速:在过去两个世纪的时间里,每年发表的研究数量都在以大约3%的速度在增长,而且在过去20年的时间里,很多论文的发表形式已经变成付费出版,在开放获取期刊中发表,有的还是打印稿件,只要科学可靠就行,就算内容不新颖或亮眼也能发表。
学术研究|AI 让学术论文更客观:机器人助手查找利益冲突】考虑到这类问题的出现,一家开放存取期刊的出版商正在提供助手来帮助自己的编辑在论文发表之前就发现此类问题。但这位助手不是人类。这款叫做“人工智能评审助手”(AIRA)的软件会检查潜在的利益冲突,手段是看看原稿的作者,处理稿件的编辑,或者审阅稿件的同行评审,他们过去有没有共同撰写过其他论文,然后进行标记。
总部位于瑞士的发行商Frontiers在今年5月份已经向服务于数十种期刊的外部编辑推出了这款软件。软件还会检查其他的问题,比方说,论文是否涉及有争议的主题,是否需要特别注意,或者用词是否清晰,是否达到可以发表的质量。
这个工具还不能检测出所有形式的利益冲突,比方说未公开的资金来源或隶属关系。但是,软件的目的是增加一种保护机制,以防止作者、编辑和同行评审未能尽到对此前存在的互动进行自我监督的责任。
Frontiers的联合创始人兼CEO Kamila Markram说:“AIRA的目的是让人类专家把注意力转移到手稿存在的潜在问题上。在某些情况下,AIRA可能会误报或者漏报问题,这些问题可以在稍后的审核过程由人工识别出来。”
从事可疑研究实践研究的荷兰蒂尔堡大学(Tilburg University)的助理教授MichèleB . Nuijten说,“软件似乎很有前途。”
Nuijten曾帮助创建了statcheck,这种算法会对报告的p值(常用但频繁受到质疑的统计显著性指标)进行重新计算,然后标记心理学论文中的统计错误。她说,有一个标准化的初步质量检查是一个好主意,而且是自动化可以发挥作用的地方。
她说:“同行评审没法发现科学论文的所有错误,因此我认为我们需要寻找不同的解决方案,这样才能帮助我们提高科学研究的质量和可靠性。人工智能肯定可以在其中发挥作用。”
跟Frontiers是开放获取出版商一样,科学公共图书馆(PLOS)的出版道德团队经理Renee Hoch说,她的组织也在使用软件工具来检测作者和编辑之间的潜在利益冲突,但并没有对审稿人做此操作。相反,她们要求裁判自我报告存在的问题,并根据具体情况采取措施。
但是,Hoch也表示,像AIRA这样的AI工具可以将审稿人在潜在利益冲突暴露出来,对于人工执行这些检查来说,会有助于减轻相关的负担。
全球第二大学术出版商Springer Nature的产品数据和元数据管理总Henning Schoenenberger表示,自己的公司也在开发AI工具和服务,以为同行评审提供参考。