顶尖期刊通过同行评议淘汰了糟糕的研究,同时也常常拒绝掉日后的“引用冠军”。

 

http://www.nature.com/polopoly_fs/7.22665.1419006054!/image/peer_review_1_carousel.jpg_gen/derivatives/landscape_300/peer_review_1_carousel.jpg

 

  很多科学家们都有过重量级研究论文被拒稿的经历。为此,一个研究组对同行评议的效果进行了量化评估。他们调查了1000多篇10年前向《柳叶刀》、《英国医学期刊》、《内科学年鉴》投过稿的论文的引用次数,以此评估同行评议做出的决定是否正确。
 
  在这项研究中,他们以论文发表后的引用次数作为参考指标。结果显示,同行评议的结果,使得这三个顶级期刊在“弃糟粕”方面做得非常成功,接收的文章质量普遍较高。但是,在“取精华”方面,却也实在不怎么地――很多日后的高引用率文章都曾遭拒。
 
  该研究项目的领头人,加拿大多伦多大学的社会学家凯尔·塞勒(Kyle Siler)表示,“最让我震惊的是,引用率最高的14篇论文都曾被拒,并且有一篇两次被拒。”塞勒及其团队发现,1008篇投稿论文中,仅有62篇最终发表在了上述期刊中。被拒的论文中,757篇改投并成功发表,剩余的189篇,有些进行了彻底的改头换面,有些则消失在茫茫的论文海洋里。
 
  研究人员对论文评审者给出的评价进行了打分,结果显示,得分越高的论文,发表后,引用率越高。塞勒对此表示,“总体而言,这些把关者工作还是很给力的。”
 
  该研究同时也发现,772篇论文是直接被编辑“毙掉”的,根本没有得到同行评议。在15篇引用率最高的论文中,12篇受到过这样的冷遇。塞勒说,“这让我们不得不怀疑,编辑们是不是不喜欢这些非常规的研究。”他认为,由于同行评议的时间和资源有限,顶级期刊的编辑们会偏向于将中规中矩的论文送审。
 
  米歇尔·拉蒙特(Michèle Lamont)是哈佛大学的社会学家,曾著有《教授们如何思考》一书。该书主要探讨学者们如何评价他人的科研工作。她说道,“编辑们大多都了解哪些论文值得评议,但他们缺乏对创新性研究的敏感性。”
 
  菲奥娜·歌德利(Fiona Godlee)是《英国医学期刊》的主编,她表示,这些“拒稿”并不能算是编辑的错。每个杂志都有其着重点,只会接收符合其宗旨的论文。比如说,《英国医学期刊》关注临床医学,因此肯定不会接收生物技术的论文。“编辑审稿首先会看论文是否符合期刊特点”。此外,歌德利表示,用高引用数来评价研究的价值过于片面。
 
  塞勒承认,以引用率衡量质量有一定问题。最近《自然》进行的一项调研发现,世界上引用最多的论文往往是方法学相关的,而非重要的突破性发现。
 
  加拿大蒙特利尔大学的进化生物学家丹尼尔·法内利(Daniele Fanelli)则建议,可以采用一些替代方法来评估论文质量。丹尼尔的研究内容是“发表偏倚”。他认为研究是否被其他人重复,或者转化为临床医学应用,可以作为论文质量的一个评价指标。但他自己也不无遗憾地感叹,“这个工作也太繁杂了”。
 
  目前来看,同行评议在接下来的一段时间内仍将是主要评议手段。拉蒙特表示,“很多人认为同行评议系统问题多多,并不完美。但这却是目前我们拥有的最好的评价体系。”
 

资料来源 Nature

责任编辑 粒 灰