【观察】关系稿的引用率会打折扣吗?|来自中国经济学权威期刊的

关系稿的引用率会打折扣吗?

——来自中国经济学权威期刊的证据

【观察】关系稿的引用率会打折扣吗?|来自中国经济学权威期刊的

来源:转载自中国经济学教育科研网公众号,

郭峰丨上海财经大学公共经济与管理学院

李欣丨上海商学院商务经济学院

来源:本文原刊于《经济学季刊》2017年第4期,微信文章及排版转自【经济学界头条、微信公众号,法学学术前沿推送未经作者和原刊物授权,仅做学习交流之用,如若侵权请留言,我们会第一时间删除处理。

导语

学术期刊规范化、公平化管理是学术进步的重要保障。目前,国内外很多文献都讨论了诸如期刊编辑部是否会系统性地偏爱某一团体或某类文章之类的问题。如果编辑部偏爱确实存在,那么某期刊发表的与该编辑部有关系的研究人员的论文和没有关系研究人员的论文,在质量上就可能存在一定差异,而这些质量上的差异就可能体现在引用率上。

期刊编辑部如果大量录用“关系稿”,会严重妨碍学术进步吗?

名校效应对“关系稿”贴水现象的影响几何?

编辑部在主动选择更好的论文吗 ?

.........

本文对2001年至2012年12种中国经济学权威期刊上发表的19000多篇学术论文的文献展开了计量学分析,并探讨了以上几个问题。研究发现经济学期刊编辑部会偏爱该期刊隶属单位研究人员,产生大量“关系稿”。而“关系稿”的引用率会显著低于非“关系稿”,“关系稿”的引用率贴水现象明显。

关键词

编辑部偏爱丨引用率丨文献计量学

作为学术研究的重要载体,学术期刊规范科学的管理是学术进步的重要条件。最近十多年时间里,中国本土经济学权威期刊质量较快提升,以《经济研究》、《经济学》(季刊)、《管理世界》、《世界经济》等为代表的中国经济学权威期刊中所发表的论文越来越规范。

然而,我们也不得不注意到中国学术期刊管理当中不规范的问题依然大量存在,关系稿、人情稿的现象仍不时出现在学术圈的私下讨论中。我们从文献计量学的角度,通过严谨的计量方法,考察了中国经济学学术期刊中“关系稿”问题及其导致的引用率贴现(打折)现象,本文对此研究进行简要阐述。

“关系稿”的正反两个效应

我们知道,即便是在匿名审稿制度下,期刊编辑部仍保留着对论文是否通过编辑部初审、如何安排匿名审稿人、接收后何时刊发、刊发时如何编排版面等的主导权。编辑部主导权的存在,使得人们常常议论编辑部是否可能会利用这些主导权而偏爱某一部分群体,使其获得相对于其他群体在论文刊发等方面上的优势。理论上而言,编辑部的这一主导权既可以被用来主动寻找更好的论文,提高期刊影响力,也可能会因为降低标准,录用人情稿,而使得期刊陷入内部人垄断。

【观察】关系稿的引用率会打折扣吗?|来自中国经济学权威期刊的

如果编辑部偏爱确实存在,那么某期刊发表的与该编辑部有关系的研究人员的论文和没有关系研究人员的论文,在质量上就可能存在一定差异,而这些质量上的差异就可能体现在引用率上。即如果编辑部偏爱了某一群体,那么该群体的论文和其他人的论文的引用率就可能存在系统差异。具体而言,如果这一偏爱是编辑部主动寻找高质量论文(如名家之作),则这些论文的引用率可能更高,而如果这一偏爱是编辑部在录用某一群体的论文时降低了审核标准,那么这一群体的论文引用率就可能更低。

目前,很多文献都讨论了诸如期刊编辑部是否会系统性地偏爱某一团体或某类文章之类的问题。Gerrity and McKenzie(1978)和Laband(1985)发现Journal of Political Economy(JPE)发表了相对更多的与芝加哥大学有关系的学者(教师或曾经的学生)的论文。Wu(2007)发现即便是近期,JPE的这种偏爱依然很明显。也许是作为对这种行为的辩护,JPE在1994年发表了Laband and Piette(1994)的一篇开创性研究论文,他们基于1984年28个顶级英文经济学期刊上1051篇论文的文献计量学分析,发现期刊发表的那些跟主编、共同主编、责任编辑有“关系”的研究人员的论文引用率不是更低,而是更高。

他们认为期刊编辑部虽然可能偶尔会“偏爱”跟他们有关系的研究人员,降低录用标准,但总体而言,期刊编辑部发表更多有“关系”的研究人员的论文,是因为期刊编辑部在主动寻找更高质量的稿件过程中,对这些有“关系”的研究人员的论文更加熟悉,信息更加对称,从而录用了这些研究人员更多,也更好的论文。

此外,Medoff(2003)基于与Laband and Piette(1994)稍微不同的“关系稿”定义、样本期刊选择和回归方法设定,重新考察了编辑部偏爱某一群体对论文引用率的影响,仍然发现“关系稿”的引用率更高而不是更低。Brogaard et al.(2014)基于30个经济学权威期刊超过50000篇文章的文献计量学分析,发现经济学期刊主编(共同主编)任期内,其所在研究机构的论文发表量比其他时期要高出100%,而更重要的是,这些“关系稿”依然有更高的引用率。

总结而言,在现有的相关研究中,得到的结论多有利于编辑部,或者只有得到这样结论的论文才被编辑部接收发表了,这可能是另一个难以识别的编辑部偏爱问题,但我们这一项研究在中国顶级经济学期刊上的发表为该猜想提供了一个反例

“关系稿”的度量和基本特征

考察编辑部是否对某类群体存在系统性偏爱(歧视)及其影响,首要难题在于这种偏爱和“关系稿”的认定。一般而言,期刊的审稿过程是不透明的,研究者无法知道期刊的具体审稿过程,也无法看到被拒绝的稿子,因此就无法评估被接收的论文和被拒绝的论文之间的差异,因此,编辑部是否对某类群体存在偏爱(歧视)很难有直接的度量指标。

【观察】关系稿的引用率会打折扣吗?|来自中国经济学权威期刊的

Laband and Piette(1994)定义的“关系稿”为:(1)作者之一是否在主编、共同主编、责任编辑之一所隶属(或获得博士学位)的高校获得博士学位;(2)作者之一是否隶属于主编、共同主编、责任编辑所隶属(或获得博士学位)的高校。

但Medoff(2003)质疑了这种关于“关系稿”的定义,认为并非所有编辑部成员都拥有录用或者拒绝一篇稿子的权力,而认为只有主编、共同主编等才有这一权力。因此,Medoff(2003)将“关系稿”定义为:(1)作者之一是否在主编、共同主编参加的Seminar上报告过他们的论文;(2)作者之一是否和期刊主编或共同主编同时隶属一个学校;(3)作者之一是否隶属于主编、共同主编获得其博士学位的学校;(4)作者之一是否曾经是主编、共同主编所隶属学校的学生;(5)作者之一是否和主编或共同主编是同届研究生。

不过,Brogaard et al.(2014)关于“关系稿”的定义更简略:某期刊现任主编、共同主编当前工作单位的研究人员在该期刊发表的论文。参考这些文献的做法,并结合中国经济学权威期刊大都有明确主办单位的现状,我们简单地将各个期刊发表本单位研究人员的论文界定为“关系稿”。

当然,正如Laband and Piette(1994)、Medoff(2003)、Brogaard et al.(2014)所承认的,由于审稿过程的不透明性,无论如何界定“关系稿”,都会存在一定的偏误。如果“关系稿”的真实含义为论文作者与编辑部存在人际关系的论文,那么我们上述关于“关系稿”的可操作定义,即论文作者之一是否和该期刊隶属于同一单位,就存在正反两方面的“测量偏误”。

第一,即便所有作者都不是该期刊隶属单位的研究人员,其仍可能与编辑部存在人际关系,正如Laband and Piette(1994)和Medoff(2003)所述,作者和编辑可能有其他渠道的交集。第二,即便作者之一是该期刊隶属单位的研究人员,也不代表该研究人员就一定和编辑部有人际关系。如果研究机构规模很大,或者研究领域差异很大,作者和编辑部成员可能并不熟识。

现有文献一般都通过间接方式来识别编辑部偏爱的影响,即评估已发表论文的质量。如果编辑部偏爱确实存在,那么与编辑部有关系的论文和没有关系的论文,在质量上可能存在一定的差异。具体而言,如果编辑部偏爱某一群体,降低了对该群体论文录用的标准,那么这些论文的质量应该更低。但如果正如Laband and Piette(1994)、Medoff(2003)、Brogaard et al.(2014)等所论证的,编辑部偏爱录用某一群体的论文,是因为其对这些研究人员的论文更加熟悉,从而可以从中挑选出更好的论文,那么这些论文的质量可能就不会更低,反而会更高。因此,我们以“被引次数”作为衡量一篇论文影响力的主要标准。同时,考虑到一篇论文所引用的文献仅占其所阅读文献的一部分,因此,为了反映那些被阅读但没有被引用的文献的价值,我们也以文献的“下载频次”作为论文影响力的另一个衡量指标。

我们选取了《经济研究》、《经济学》(季刊)、《管理世界》、《金融研究》、《世界经济》、《世界经济文汇》、《财经研究》、《中国工业经济》、《经济科学》、《经济评论》、《经济学家》、《南开经济研究》等12种经济学类权威期刊作为样本期刊。

选择这些刊物主要基于以下考虑:

第一,这些刊物呈现出的特点和风格较为接近,均为经济类综合性刊物,因而它们的可比性较强;

第二,相对而言,这些刊物代表了中国经济学研究的较高水平,其发表的论文大都有较高的被引次数和下载频次,且各论文被引次数和下载频次之间的变差较大,更适合于文献计量学分析;

第三,这些期刊隶属单位较为明确,利于“关系稿”的认定。

我们在中国知网、国家哲学社会科学学术期刊数据库上检索、整理了2001-2012年这12种期刊能检索到的所有文章(引用率整理时间为2014年12月4日),然后剔除各类启事、广告、编委审稿人名单、纪要、诞辰、悼词、评奖、颁奖、目录、会议综述等非论文资料,剩余文献即为我们的分析总样本,共计包含12个期刊12年共计19056篇论文。

关系稿的引用率

在使用计量方法分析“关系稿”对论文引用率的影响之前,我们先来考察一下我国经济学权威期刊“关系稿”的基本趋势,从图1中我们可以看到,我国经济学权威期刊发表其所隶属单位研究人员的论文占全部论文的比例非常高。例如,部分期刊来自该期刊隶属的论文均超过40%。形成对比的是,根据Brogaard et al.(2014)对30种英文经济学期刊的统计,在超过5万篇论文的样本中,作者跟主编(共同主编)隶属同一所高校的比例为7%。而在Medoff(2003)所考察的1990年美国六大期刊359篇文章当中,根据更宽泛的“关系稿”界定标准,“关系稿”比例也仅占6%。这说明英文经济学期刊相对更加独立,而中国经济学权威期刊深受其所隶属单位的垄断,成为本单位研究人员的自留地。

【观察】关系稿的引用率会打折扣吗?|来自中国经济学权威期刊的

图1 不同期刊的关系稿比例

我们通过严格的文献计量学的方法,对上述分析进行了实证分析。在省略了技术性的实证讨论细节后,我们报告一下我们这项研究的主要发现:在控制了其他因素之后,相对于非“关系稿”,“关系稿”的被引次数平均约低15.2%,可见“关系稿”的引用率贴水幅度之高。而对下载率的分析则发现, “关系稿”的被下载次数比非“关系稿”平均约低8.3%。

对比这两个结果,似乎可以得到结论:“关系稿”的引用率贴水程度比下载率贴水程度更高。这是很直观的结果,人们在下载一篇论文之前,往往只关注其所发表的载体和研究内容,而是否将其列入参考文献,则要在此基础上进一步通过阅读来判断其学术价值是否值得引用。因而“关系稿”引用率贴水程度高于下载率贴水程度,也就进一步佐证了我们关于关系稿存在引用率贴水现象的结论。

一系列的稳健性分析表明我们的基本结论具有较好的稳健性。例如,分位数的回归表明高分位数论文当中,“关系稿”的引用率贴水幅度明显小于低分位数论文,甚至在高分位数论文当中,“关系稿”的下载频次和非“关系稿”已经没有明显差异。如果一篇论文能够成为高影响力论文,则是否为本单位的“关系稿”已经影响不大,但对于那些刚刚达到发表门槛的普通论文,是否本单位的“关系稿”则影响甚大。该结论是显而易见的,因为如果一个期刊对本单位研究人员降低录用标准,那么“关系稿”贴水现象显然主要集中在低水平论文当中。

中国经济学权威期刊日益规范化的证据

前文图1是各个期刊“关系稿”的比例是2001-2012年全部论文的平均,如果看历年的“关系稿”比例,我们倒是可以得到一些令人欣慰的观察:“关系稿”比例近年来呈明显的下降趋势。如图2所示,在全部期刊当中,“关系稿”的比例由2001年的34.8%,下降到2012年的13.1%。特别是像《世界经济文汇》、《南开经济研究》等期刊,近年来发表的同单位论文已经大幅下降,但部分期刊内部稿的情况人很严重。

这一简单趋势可以初步表明我国经济学权威期刊正在逐步走向规范化。那么,经济学期刊的这种规范化趋势能否在“关系稿”的引用率贴水幅度上有所体现呢?我们对此也进行了分析,这也是考察在经济学各界多年努力下,中国经济学权威期刊在规范化管理方面取得何种进步。

【观察】关系稿的引用率会打折扣吗?|来自中国经济学权威期刊的

图2 不同年份的关系稿比例

为此,我们将2001-2012年拆分成三等份,进行分样本回归。此时的回归结果显示,在2001-2004年阶段,“关系稿”的引用率和下载率贴水幅度非常大,“关系稿”较非“关系稿”被引次数贴水21.7%,下载频次贴水11.5%。在2005-2008年,“关系稿”虽然仍有显著的贴水现象,但贴水幅度已经显著低于2001-2004年。而在2009-2012年,“关系稿”的引用率和下载率贴水现象已经不再显著。时间趋势与“关系稿”的交互项分析也证实了上述趋势。中国经济学权威期刊日益规范化得到了初步证实,但考虑到距离统计时点太近时,论文的引用率可能会存在很大误差,因此,中国经济学权威期刊逐步走向规范化的结论是否真正成立,尚有待历史的检验。

延伸阅读 

(节选自本篇论文后面几部分内容)

名校效应对“关系稿”贴水现象的影响

一名研究人员在引用文献时,显然会更倾向于引用同单位的研究人员的文章,而简单的统计可 以发现本文样本期刊录用的其隶属单位论文的比例在所有单位中均排名第一,而且这些单位基本上都是中国经济学的重镇。同时由于样本期刊设置的原因,这些知名研究单位在本单位期刊上发表论文的倾向也会更高。因此本文上述基本回归结果同时存在遗漏变量和互为因果导致的内生性问题。 而且,对具体影响方向而言,由于没有考虑到“名校效应”对上述基本回归结果的影响,我们上文 关于“关系稿”的引用率贴水的估计可能还存在低估。 为了验证这一推论,也进一步缓解因遗漏变量导致的内生性问题。我们在本部分进一步控制作 者单位的影响。首先,我们通过作者第一单位将所有期刊的所属单位标准化,并删除那些在所有样 本期刊所有年份中发表论文数少于 50 篇的普通单位,仅留下发表论文较多的知名单位。这样处理后剩余的单位共计 53 个,所剩的论文数占全样本的 78.1%。回归结果显示,此时“关系稿”仍存在明显的引用率和下载率贴水现象,并且仅在知名学校之间比较时,“关 21 系稿”的引用率和下载率贴水幅度更高,这佐证了我们之前的分析。在剔除普通学校之后,进一步控制学校效应对估计结果的影响已经不大。

编辑部在主动选择更好的论文吗 ?

在解释英文经济学期刊当中的“关系稿”引用率为何更高时,Laband and Piette(1994a)、 Medoff(2003)、Brogaard et al.(2014)等都提到了信息优势假说,即期刊编辑对同单位或其他有关联的研究人员的学术成果更加了解,更有把握,因此录用的“关系稿”反而比其他非“关系稿” 有更高的引用率。

【观察】关系稿的引用率会打折扣吗?|来自中国经济学权威期刊的

由于我们在上文的统计分析中,发现中国经济学权威期刊的“关系稿”引用率要比其他非“关系稿”低,因而无法识别中国经济学权威期刊的编辑部在录用本单位研究人员的论文 时,是否存在主动寻找更高质量论文的动机,还是单纯地因为人情关系而降低了对本单位研究人员 论文的审核标准。不过,我们可以对比分析各年份高引用率论文和低引用率论文中的“关系稿”比例,来对此问题做初步的探讨。

实际上,Laband and Piette (1994a)也做过类似的分析,他们发现,虽然总体而言,“关系稿”有更高的引用率,但在引用率较低的论文当中,“关系稿”的比例又 非常高,编辑部主动寻找更高质量的论文存在一定的代价。 具体而言,我们对比分析历年引用率排名前 25%的论文中的“关系稿”比例、引用率排名后 25% 的论文中的“关系稿”比例,以及全部该年论文的“关系稿”比例。如果引用率前 25%的论文中的 “关系稿”比例显著高于总的“关系稿”比例,说明期刊编辑部确实在主动寻找更好的论文,只不 过其附带成本较高而已。同时,如果引用率最低 25%论文中的“关系稿”比例显著高于总的“关系 稿”比例,说明该期刊确实对本单位研究人员降低了录用门槛,使得一些低质量的论文发表出来。

 从图 8 中,我们可以看出,引用率较高的论文中,“关系稿”的比例低于总样本“关系稿”比例, 而引用率低的论文中,“关系稿”的比例又高于总样本“关系稿”比例。这似乎可以说明,期刊编辑部录用本单位研究人员的论文,并不是基于对本单位研究人员的学术成果更加熟悉,而更大的可能性是降低了对本单位研究人员论文的录用标准。当然,从历年数据当中,我们也可以看到,高 用率论文和低引用率论文中的“关系稿”比例有趋同的趋势,这也是中国经济学权威期刊更加规范 化的一个不太明显的标志。 

【观察】关系稿的引用率会打折扣吗?|来自中国经济学权威期刊的

图 8 不同年份不同引用率等级的“关系稿”比例 24 

结论 

经济学研究的进步离不开经济学期刊的引导与支持。经济学权威期刊规范化、公平化管理是中国经济学学术进步的重要保障。期刊编辑部如果偏爱某一机构和部分群体,可能会严重损害中国经济学的学术进步。

本文通过对 2001 年至 2012 年 12 种中国经济学权威期刊上发表的 19000 多篇学 术论文的文献计量学分析,发现经济学期刊编辑部会偏爱该期刊隶属单位研究人员,产生大量“关系稿”。而“关系稿”的引用率会显著低于非“关系稿”,“关系稿”的引用率贴水现象明显。同时, 进一步回归结果表明“关系稿”的贴水现象有所缓解,中国经济学权威期刊的规范化、公平化有所进步。

 很显然,有一些因素可能影响到论文的引用率,而我们却没有考虑。比如作者个人特征、作者前论文的引用率、论文研究方法等肯定会影响论文引用率,但限于数据的可得性,这些因素我们均没有考虑在内。而同时这些因素对引用率的影响可能又不是独立于“关系稿”,从而缺失他们可 能对“关系稿”的引用率贴水程度估计造成影响。此外,考虑到期刊代表性等多方面的原因,本文 仅以《经济研究》等12种经济学权威期刊为例提供“关系稿”引用率贴水的经验证据,但“关系稿” 的引用率贴水现象是否也存在于其他一般期刊,则仍有待于进一步严格检验。

End 



本文原刊于《经济学季刊》2017年第16卷第4期,原题《编辑部偏爱、关系稿与引用率贴水:来自中国经济学权威期刊的证据》;改写过程中有大幅删减,略去了参考文献、注释和技术性部分。详细论证请参考原文。

郭峰丨上海财经大学公共经济与管理学院讲师,研究方向:政治经济学、金融学、文献计量学。

李欣丨上海商学院商务经济学院讲师,研究方向:环境经济学、区域经济学。

【观察】关系稿的引用率会打折扣吗?|来自中国经济学权威期刊的