简·哈丁（Jane Harding）是新西兰奥克兰大学新生儿科教授和研究院代理副院长，其供职的单位是在PBRF（Performance-Based Research Fund，基于个人绩效评估的科研基金申请系统）支持下全新西兰科研资金最雄厚的大学之一。今天，她将向我们介绍该系统评估科研成果价值的方法，并说明她欣赏这种将个人而非研究小组作为绩效评估对象的方式的原因。
问：新西兰研究人员对于PBRF看法如何？
答：大多数研究人员都认为，申请PBRF是一件苦差事。对研究者来说，准备一个总结报告既耗时又让人分心。但尽管如此，大家都承认，定期――比如PBRF周期是六年――从外部提供对他们所做研究绩效的评判，在很多方面是具有一定优势的。虽然许多人认为PBRF是一个不甚完美的评判体系，但总的来说它仍然是有用的。我们很难找到另一种替代系统，使其能够更好地为这些研究性质极强的部门提供经费。同时证据表明，PBRF系统在促进研究质量提升方面也起着不可忽视的作用。
问：您参与了PBRF的那些工作？
答：我负责PBRF系统在奥克兰大学的整个运作流程。早期工作主要关于准备和培训，因为我们需要确保每个人各司其职。然后我们进入报告撰写的阶段。总结报告的草案在得到润色并最终被提交之前需要通过我们的初审，评估完成后，我们将结果存档，并确保研究者的申请报告被发送到正确的部门。
这是一个大而复杂的程序，并且持续时间很长，涉及大量人力资源工作。有时在一段特定的时间内我们有接近2000份的申请报告需要提交。申请高峰时期，我在两到三周内需要把至少一半的时间放在这项工作上。
问：看起来，这对大学来说是一项巨大的投资。
答：是的，但无法否认的是，这也是一项至关重要的投资。PBRF约贡献了奥克兰大学预算研究经费的8%，这是一个相当可观的数字。在PBRF最近一轮资金到位后，新西兰的所有大学参与进行了一个粗略的统计。结果表明，在最新的一个六年周期内，奥克兰大学得到的资金支持还不到PBRF总投入的3%。从这里我们可以看出，PBRF对本校的经费支持与其投入总额相比，还不算是一个特别巨大的开销。
问：研究人员对PBRF分级资助制度看法如何?
答：PBRF的体制决定，个人研究等级――A、B、C或R（即研究处于非活动状态）――对于资金投入的整体影响可以说是微乎其微的。如果我们的研究人员之一被判断为B等而非A等，那么通常出于平衡考虑，同一机构中另外的部门将会有一个人获得A等而不是B等的评级。这种变化对于整个机构或学院来说无关紧要，但会造成巨大的个体性差异。认为自己已经有资格获A等，最终却被评估为B等，对研究者本人来说将会是一件非常沮丧的事。人们不可避免地趋向于把评级成绩看作是对自己研究成果的绝对定义，我们也很难阻止他们从个人角度看待这套评级系统。
问：有没有特定类别的研究者们在评估中一直处于不利地位？
答：经验在评估中是一个重要指标，比如刚入门的初级研究员就很难被评为A等。如果申请者是一位刚取得博士后学位的研究人员，经验的不足很可能导致他无法拿出具有说服力的报告，因此也很难得到大笔的经费支持。不过，PBRF对初入者和新兴项目的研究人员有特殊照顾――他们被划归入一个特定的分类，在这个类别下，C等的门槛将会低很多。这样的制度会在一定程度上减轻个体间的差距。
“缺少经验的研究人员从PBRF中受益不浅，因为它为他们提供了支持其管理科研项目的经费，这确保了新项目的稳定运作。”
我们甚至可以说，经验较少的研究者更受益于PBRF。因为在体制层面上，PBRF的支持甚至可以被定义为是一种援助：我们不仅供给他们资金，并且协助他们定期监督研究项目的进展。在我执教的奥克兰大学，PBRF非常照顾缺乏经验的研究员。这对新生科研项目的扶助工作来说，也是一份极大的贡献。
问：PBRF系统是否对特定领域研究成果存在偏见？
答：这是每个人都担心的问题，但我认为，研究者大可不必对这种事感到忧虑。我们必须相信，不管对象是何种类型的研究，PBRF的评估人员都能找到一个适当的标准来衡量它的价值。有些人对于评估“世界一流实验”的标准存在疑虑，担心它们会将侧重本土研究的学科推向不利境地。但实际上，这些质疑中包含的想法才是真正的偏见――我们不会错误地将世界一流研究与国际研究画上等号，即使是在新西兰本土，你照样可以做出世界级的研究。
还有一些人可能会担忧，某些特定类型的研究，例如涉及商业工作或从属于私人公司的项目研发，可能会在申请时处于劣势，因为它的成果不一定是以报告形式呈现出来的。或者说，其研究的价值无法在文本总结中得到充分体现。
但总体来讲，我并不认为PBRF系统挑战了科学探究的本质意义。一定程度上，它确实增加了科研工作者们产出成果的压力，那些愿意坐下来花15年写一本书的研究者在PBRF的评估报告中一定会表现欠佳。但我认为，目前整个科学界都以研究质量和效率为重点，在这样的大环境下，之前提到的慢工科学家或许在任何地方都难得其所。
问：数据表明，在新西兰的大学中，超过10%的科研资金来自PBRF。这远低于类似计划在英国所占的25%的比例，但比挪威的2%要高。您认为通过PBRF流向科研一线的资金在国家科研总经费所占的比例是否已经足够大？
答：在2013年一年，通过PBRF的资金分发量已达到了2亿6250万新西兰币(2亿2420万美元），这些经费为新西兰学院内科研工作的质量提升提供了一定的驱动力，但还不足以满足整个研究项目的需求。我们在这套系统投入应用之初已经明确规划，PBRF系统的最终目的是从经费方面为科研机构提供支持，确保其做出最高质量的研究。国际上的横向比较归根结底是系统本身资金来源的对比。以任何标准来衡量，新西兰的大学都处于经费严重缺乏的状态。在OCED（经济合作与发展组织）成员国中，新西兰给每个大学学生提供的资金支持数额是最小的。我们在支持科研发展上投入的经费占本国GDP的比重约为经合组织平均水平的二分之一。
以奥克兰大学为例，我们在2010年从PBRF得到了7200万新西兰元的经费，但这仍然无法填补我们的资金空洞。由于之前提到过的经费短缺，新西兰的科研人员需要花费大量的时间去和精力寻找研究项目的经济支持。同时，这也增加了我们招聘和留住优秀研究者的难度。即使一位世界领先的科学家有兴趣来到新西兰工作并接受我们的工资水平，但面对着巨大的经费空洞，他或她往往会被吓住，最终选择放弃前来这里。这对我们来说是极大的劣势，通过PBRF分配到各个研究机构的资金将有助于支持更多科研工作的展开，但面对全国性的严重经费不足，即使采用PBRF这样的体系也是于事无补。
奥克兰大学
问：若将新西兰的PBRF与其他地区相似的科研资金支持系统，如英国的同行审阅体系进行比较，结果会是如何？
答：新西兰PBRF体系独有的特点是它针对研究员个人而非一整个小组进行评估。我们承认，这个基于单人成绩评估的系统个体依赖性过强，可能导致个别科研人员的自私行为。毕竟，这样的评估方式无法为协同工作提供直接激励，也不能鼓励他们支持团队和同领域入门级研究人员的工作。
为了弥补这个缺点，我们完善了贡献评估的标准。我们不仅评估科研产品本身的价值，也会考虑这项研究对整个科研环境的贡献。帮助同行审查，领导协作小组，带研究生或者帮助其他处于职业生涯早期的工作者，这些贡献均可作为个人工作成就被认证成为PBRF的资助理由。从评估规模来看，我们现有的单人总结体系很难被应用于较大的系统。
我更欣赏我们目前使用的个人研究资金申请途径。英国同行审阅体系的审批工作需要收集所有参与研究的人员的个人材料，然后组装成一个总报告一起提交。这似乎需要很多额外的工作，更糟糕的是，其成果并不具备太多的附加价值。我的同事在闲谈中提到过，他们在英国大学申请资金时，为了编写一份总结报告，曾雇佣外部人员全职工作。
问：那么PBRF和基于既定指标的评估体系，如丹麦和澳大利亚应用的评估系统相比如何？
答：任何同行评审过程都容易受变化无常的个人观点影响。评估结果可以取决于谁是责任人、裁判们对研究主题的理解程度深浅、评审者个人的偏见以及许多其他不可量化的因素，例如在评估时错误地把重点放在总结报告而非研究本身完成的质量上。我们的系统也是高成本的，因为每个人的报告都需要独立准备，独立评估。
如果我们只看资金分配和科研机构管理这两方面的话，基于既定指标的度量评估系统成本非常低，操作简单便捷，并且常常得出与同行评审几乎相同的结果。但比起将报告上交给层层机构，之后又以相同程序审批下发的方式，PBRF恢复了将奖励直接呈现每个工作人员的传统，这提升了资金支持对科研质量提高的鼓励效果。同时，指标评估体系常常出现评价对象是指标而非研究价值本身的问题。指标体系另一个不能忽视的缺点在于，同行审查环节的缺乏很容易造成不同学科之间的差异对待。
问：PBRF研究效果评估的预期发展形态，是否会类似于英国新提出的卓越研究框架？
答：用同一个系统评估两个不同的指标是非常具有挑战性的。如果你将研究质量和研究成果产生的影响分开考虑，你就需要两个独立的评估程序。科研成果的影响很难衡量，同时，如果你考虑到收集处理证据工作的艰巨，这种评估也会是一种开销极大的奢侈行为。
如果我们想为研究机构提供激励措施，以促使他们为增加其研究的影响力而努力，引入一个新的测量指标会很有效果。但考虑到研究质量与研究影响有着非常紧密的因果关系，我对这个独立评估是否值得如此巨大成本抱有疑虑。不过，我们还是要从英国的尝试中吸取经验，他们评估科研成果在全国范围内影响的方式很值得我们参考。
资料来源 Nature
责任编辑 李 辉