开放同行评议(OPR)作为开放科学运动和学术出版模式变革的重要一环,已在Nature、Nature Communications、Science Advances等期刊推行。但是开放同行评议的推行效果在学界一直存在争议,既有可能提高评议过程的透明性,但是也有可能带来平庸的评审意见。
审稿人、作者、编辑三方关系(本图由ChatGPT-4生成)
为此,苏州大学科技传播研究中心的研究团队选择开放同行评议中的代表性期刊——Nature Communications和PLoS One期刊中约7.5万篇文章,旨在比较开放与不开放同行评议的文章在学术引用率(Citations)和社会影响力(Altmetrics)两个维度上的表现。
研究发现,两个期刊无论是从整体上还是在单一学科上的表现,开放同行评议会对论文的社会影响力带来提升作用,然而对论文引用率可能没有实质性的帮助。
研究成果于4月28日在线发表在情报学领域JOI期刊上,苏州大学科技传播研究中心程曦副教授为第一作者,王国燕教授为通讯作者。
Journal of Informetrics(简称JOI,2022年影响因子3.7,期刊近3年文章平均被引用次数6.9)创办于2007年,该刊以发表严谨、高质量的信息计量与科学计量研究而著称,主要聚焦于参考文献计量学、科学计量学、网络计量学等主题。2023年,JOI期刊在中科院期刊分区表中位于管理学大类2区,计算机、跨学科应用2区,图书情报与档案管理2区。
论文发表信息
研究团队收集了32350篇Nature Communications 期刊和43501篇PLoS One期刊Article类型文章的引用率和社会影响力数据,根据开放同行评议下的 “开放评审报告”(OR)和“开放审稿人信息”(OI)两个维度进行编码。研究在消除发表时间对论文引用率和社会影响力的影响后发现,在Nature Communications期刊中,与带有开放评审报告的文章相比,不开放评审报告文章的引用率反而更高,且具有显著性差异。该结果也适用于开放与不开放审稿人信息维度的比较。
研究的数据收集范围与编码过程
但是,在社会影响力的数据表现上,两个维度的比较结果截然相反,带有开放评审报告和开放审稿人信息的Nature Communications期刊文章呈现出明显优势,其数值高于不开放评审报告和不开放审稿人信息的文章,且皆具有显著性差异。
PLoS One期刊中的数据趋势也与Nature Communications期刊相似,只是带有开放审稿人信息的文章在引用率上高于不开放审稿人信息的文章,但是差异不具备显著性。
研究也关注到不同学科之间的表现差异。
无论是在Nature Communications期刊还是在PLoS One期刊中,各个学科分类多数情况下,不开放评审报告和不开放审稿人信息文章的引用率分别高于带有开放评审报告和开放审稿人信息文章。与此同时,两本期刊的社会影响力数据显示出与引用率相反的趋势,即带有开放评审报告和开放审稿人信息文章的社会影响力数据更有优势。但是也有个别例外的情况,在这两份期刊的部分学科中,带有开放评审报告文章的引用率高于不开放评审报告文章,而这些差异未呈现出显著性。因此,各学科的数据表现进一步巩固了整体趋势的结论。
部分研究结果
基于上述结果,此次研究也对开放同行评议的特征、学科文化、引用率与社会影响力关注视角的差异性等因素进行分析。
考虑到影响论文引用率和社会影响力的因素较多,因而本研究未进行开放同行评议与引用率、社会影响力两项数据指标的因果关系研究,但是本研究结果依然说明一些可能的趋势变化。
第一,引用率和社会影响力的不同表现可能反映了不同目标受众对于开放同行评议的不同态度(研究者和大众媒体)。出版商应如何看待和处置评审报告这一宝贵的学术材料,是否有必要进行分众学术传播,值得深入研究。
第二,科学出版物的透明性还存在提升空间。对于不同学科的影响力表现数据及具体的学术需求,如何稳步推进开放同行评议进程,该研究提供了一定的证据支持。
图为PLoS出版集团为作者提供的同行评议开放方案(出自PLoS官方网站)
图为开放同行评议对作者的影响(出自European Commission官方网站)
注:复旦大学国际关系与公共事务学院唐莉教授指导和共同设计了本项研究,苏州大学传媒学院本科生王浩然和研究生江苇妍参与了此项研究。
END