其目标之一是对更广泛的研究贡献予以认可。

推进科研评价联盟指导委员会的副主席卡伦·施特罗班茨（Karen Stroobants，图中屏幕）正在出席于瑞典乌普萨拉举行的2023年欧洲博士生和初级研究人员理事会年会。该理事会的主席塞巴斯蒂安·达勒坐于左起第三位。其他小组成员为支持科研评价改革的其他组织代表

一场全球性运动正日益壮大。它致力于采用整体方法来对研究人员和科研内容进行评估，其目的是对更广泛的贡献予以认可，而不仅仅是关注机构声誉以及量化指标（比如在高影响力期刊上发表的出版物数量、被引次数和拨款数额等）。有许多贡献几乎很少得到嘉奖，这包括委员会服务、面向公众和政策制定者的外展工作、社会影响力和创业精神等。

该运动的早期推动力之一是2013年的《关于科研评价的旧金山宣言》（DORA）。《旧金山宣言》已经发展为一个全球性的倡议，其中，减少对期刊影响因子的重视已成为“老生常谈的主题”。项目总监赞 · 福尔克斯（Zen Faulkes）表示：“但我们正在扩大我们在评价改革方面的努力。”截至2023年9月，已有164个国家的2万多个人和约3 000个组织签署了《旧金山宣言》。

普遍认为，由欧盟委员会、科学欧洲（SE）和欧洲科学协会（Science Europe）牵头的一项相关行动产生了最大的影响力。欧洲科学协会是一个由资助机构组成的协会，每年的支出超过220亿欧元。2022年7月，他们制定了改革的指导原则，2022年12月，成立了推进科研评价联盟（CoARA）。截至2023年8月下旬，已有600多所大学、资助机构、学术团体和其他组织（绝大多数位于欧洲）签署加入。签署方承诺在一年内审查其科研评价程序，并在五年内尝试和报告替代方案。

斯洛文尼亚卢布尔雅那大学是CoARA的签署方之一，该校的物理学家塞巴斯蒂安 · 达勒（Sebastian Dahle）表示，CoARA与早先的评价改革声明有所不同。“在签署加入后，签署组织必须制定行动计划。该协议能够推动现状发展。它不具有法律约束力，但能使人们保持参与。”

改革科研评价的动机在很大程度上源于对近几十年来形成的“不发表就灭亡”文化的失望，这场运动的目标代表着早期规范的回归。CoARA指导委员会的副主席伊丽莎白 · 加德（Elizabeth Gadd）表示， “几乎完全”基于研究者的出版物数量和被引次数来评估研究者“产生了不良的激励机制”。她说，这会导致学者们拆分文章以增加出版物数量、出售作者资格，以及学术欺诈或不当行为。她补充说，出版物在对研究人员的评估中比重过大，这是“非常有问题的”。

在维也纳大学从事低维材料研究的托马 · 苏西（Toma Susi）表示，在欧洲，“人们普遍认为，学术界在评价研究人员和机构方面已经失去了自主权”。他说，无处不在的影响因子是商业性的，并以“不透明”的方式产生。

佐治亚理工学院公共政策学院院长卡茜迪 · 杉本（Cassidy Sugimoto）研究科学计量学和科学工作者中的不平等现象。她表示，发表论文的压力对学者的心理健康造成了负担。她说，整个科研界都受到影响，但女性和有色人种感到的负担往往更重，部分原因在于，平均而言，他们获得的研究经费更少，论文被引用的次数也更少。她问道，如果当前的评估体系会导致科研人员的心理健康状况恶化（以及更多的人员流失），这是否符合科学家的目标？这是对科学界最好的做法吗？

影响心理健康的另一个压力源，同时也是科研评价改革的另一个动机，在于评估的频率。在评估、终身任期、晋升、奖励和资助申请的间隙，“研究人员被从左到右、从头到脚地评估，”英国拉夫堡大学科研评估、学术交流和研究文化方面的专家加德表示，“为研究人员提供最佳的科研环境，是我个人的工作动力之一。”

改革之承诺

CoARA提出了四项指导科研评价改革的核心承诺：承认科研贡献和科研职业道路中的多样性；科研评价应主要基于定性评估开展，其中以同行评议为核心，辅以定量指标；放弃在科研评价中不当地使用以期刊和出版物为基础的指标，特别是期刊影响因子和H指数；避免在科研评价中使用科研机构的排名。

其他的支持性承诺还包括同意分配资源、提高改革意识和分享改革试验的结果。

CoARA旨在提供指导，而非规定行动。签署方签署了这些原则，但还必须找到适用于自身特定环境的应用方法。研究文化和研究需求因学科、机构和国家而异。

2023年夏天，CoARA成立了10个工作组，探讨与科研评价相关的问题。例如，欧洲博士生和初级研究人员理事会主席达勒主持了一个有关初级科研人员的工作组。鲁里克主持的工作组负责研究如何对同行评议予以认可和奖励。另一个工作组则关注科研评价中的多语制和语言偏见。

欧洲核子研究中心（CERN）是CoARA的早期签署者。该中心的科学信息服务小组负责人亚历山大 · 科尔斯（Alexander Kohls）表示，CERN的实践和文化已经与CoARA的原则达成了一致。他说：“如果你和CERN的一位理论学者交谈，你会发现，不管论文是发表在arXiv上还是顶级期刊上都无关紧要。我们重视的是内容，出版渠道则不那么重要。”但是，他补充说，CERN的部分合作者也表示，“我不想公开我的研究成果。我更倾向于为自己的利益而保护它”。科尔斯称，核子研究中心希望“推进科研评价改革”，以鼓励其他机构“追随”CERN长期以来的行事精神。

波兰科学部顾问、波兹南密茨凯维奇大学的学术交流研究小组负责人伊曼纽尔 · 库尔奇基（Emanuel Kulczycki）表示，历史上，在波兰和其他东欧国家，资金和工作岗位并非基于能力取得，而是基于人脉和政治分配。他说，历史遗留下来的问题之一在于，大学仍然处于政府的控制之下，因此学术界“渴望依赖定量指标”。与此同时，他补充道，将研究的社会影响纳入考量在那里并非新鲜事。

库尔奇基表示，在科研组织和体系类似波兰的国家，改革必须得到政府的首肯，“但是科研评价的黑匣子应该由学术界来设计”。他补充说，在挖掘想法和找寻实施这些想法的步骤上，CoARA可能会有所帮助。他指出，在他的国家，承认多语制至关重要。“使用你自己的语言在普及科学和吸引学生方面起着重要的作用。”他表示。

一些人认为，美国在科研评价改革方面较为落后。杉本表示，这种明显的滞后要部分归结于大学系统的分散和资金来源的多样。她指出，尽管某些国家明确要求，比如说，某人必须要发表一定数量的顶刊文章才能获得晋升，但在美国，这种要求通常不会是明文规定的。“美国的许多做法更为隐晦。这让它们更加难以对抗。”

欧洲科学基金会的尼古拉斯 · 沃尔特（Nicolas Walter）预计，这一运动将在美国和更广泛的地区获得支持。他指出，CoARA成立还不到一年。 “我们现在正处于需要在欧洲以外开展工作的阶段。”

全球所有领域的出版物数量都在激增，反映了学术界盛行的“不发表就灭亡”的文化。扭转这种文化是推动科研评价改革运动的动力之一

它是催化剂，不是万灵药

近年来，部分资助机构、学术机构和国家已经开始尝试科研评价改革。一些资助机构正在使用彩票的方式发放经费，另一些则对给定调查人员可获得的资助经费数额设置了上限。卢森堡国家研究基金会（FNR）正在扩大其颁发奖励金的范围。例如，FNR的项目经理肖恩 · 沙普卡柳（Sean Sapcariu）提到了两个奖项，一个是用于表彰杰出导师的新奖项，另一个则从此前的提名最佳出版物转变为奖励杰出的研究成果。他说，资金可以成为“塑造行为的利器”。

在全欧洲，许多研究所和资助机构已经开始在岗位和资助经费申请中引入叙述式简历；荷兰、挪威和英国是其中的先驱。叙述式简历要求学者将列出的出版物数量限制约在5到10篇，并讨论它们（与申请）的相关性。研究人员还被邀请写下其他的相关贡献，并解释为什么他们是拟议项目或岗位的合适候选人。“这些举措的主要目标是为候选人提供空间，让他们展示那些可能不适合传统简历的贡献，”荷兰研究理事会的认可与奖励项目负责人罗伯特 · 胡格斯特拉特（Robbert Hoogstraat）表示，“也许他们参加过一场开放科学活动，或是曾为某家报纸写过一篇观点文章。”

卢森堡国家研究基金会既在使用叙述式简历，也在研究这类简历的效力和接受度。该基金会要求科学家们提供一份两页的简历，包括三个部分：与他们申请资助的研究有关的个人陈述，关于他们职业道路的描述，以及对于相关成果和产出的讨论。沙普卡柳表示，截至目前，调查结果显示70%的审稿人和几乎同样多的研究人员都对叙述式简历持积极态度。从明年开始，欧洲研究理事会将允许申请人在简历中添加叙述性描述，并将更加重视项目提案，而非过往成就。

支持者表示，对简历中列出的论文数量设置上限，有助于在职业阶段、性别和地域方面平衡竞争。叙述式简历还可以让你更容易获得跨学科研究领域的资助，也更容易转换研究领域。“叙述式简历并非万灵药，”法国国立桥路学校的研究员弗蕾德莉克 · 博迪尼翁（Frédérique Bordignon）表示，她研究文献计量学和研究诚信问题，“但它可以成为一种催化剂，促使我们找到更好的方法来评估科研人员”。

皮尤慈善信托基金的安吉拉 · 贝德纳雷克（Angela Bednarek）称，尽管资助者具有足以推动变革的独特地位，但他们也有可能碰壁。她领导着 “转变证据资助者网络”（TEFN），这是一个由70个私人和公共资助者组成的团体，旨在增加他们的科研投资所带来的社会影响。作为对项目呼吁的回应，贝德纳雷克指出，部分初级科研人员表示，“你是在要求我投入时间去做一些不能让我获得终身教职所需要的出版物的事情”。

例如，贝德纳雷克说，某个项目 “可能会综合现有数据供决策者使用”，而不涉及开创性的研究。她举的例子是利用有关海洋物理条件的数据来设定捕捞限额，以应对气候变化。 “资助者需要考虑如何奖励和激励研究，这样他们就能够支持相关、及时的研究，”她说，“我们不称之为评价改革，但它就是同一回事”。

指标的挑战

对CoARA的一个常见误解是认为支持者旨在废除定量指标。博迪尼翁说，负责任的指标使用应该提供相应的背景。她表示，诸如“我在过去10年里发表了5篇文章，并在此期间指导了10名博士生”之类的陈述，减轻了用单一数字描述某人工作所带来的影响。由于H指数随发表数量的增加而增加，写明学术年龄可以解释初级科研人员和经验丰富的研究者之间H指数的差异。此外，综合使用的指标可能有助于比较大型机构或国家之间的产出。

对于科研评价改革的担忧之一在于，定性评估可能比依赖定量指标更费时，也更主观。支持者们承认，这确实更加困难，尤其是在申请人和评估人员熟悉新程序的过渡期。但是，他们指出，进行定性评估所需的额外时间可以通过减少评估的总次数来抵消。

《旧金山宣言》项目的福尔克斯说，他理解人们的担忧，即“如果你去掉了定量的数字，就只剩下幕后交易和赞助了”。但他也表示：“我们并不是说要完全放弃定量指标。”而且，福尔克斯补充说，《旧金山宣言》正在加入“对研究做研究”的群体，以协助理解叙述式简历和其他定性同行评议实践的使用。

化学教授林恩 · 卡梅林（Lynn Kamerlin）于2022年转入佐治亚理工学院，在此之前，她曾参与欧洲的科学政策制定，她表示：“即便是‘铁面无私’的定量指标也并非没有偏见。”有限的岗位和资助是一种“零和”游戏，她说，“除非超级竞争的根本问题得到解决，否则其他一切都只是权宜之计”。

资料来源 Physics Today