在澳大利亚和新西兰，年轻学者和交叉学科的研究绩效往往被低估。本文作者安娜贝尔·麦吉利夫雷（Annabel MCGilvlay）如此认为。
在和我聊天的前一天，乔纳森.波士顿（Jonathan Boston）收到了同事的一封邮件。邮件谈到了一位因新西兰学术绩效研究基金要求，学术生涯受到“怪异扭曲”的年轻学者。波士顿告诉我，“过去几年，我收到过许多类似的，讨论学术业绩研究基金利弊的邮件。”
波士顿是惠灵顿维多利亚大学的公共政策系教授，同时他也参与了新西兰政府的政策制定。他表示：硬性要求发表高影响力的国际文献，而不鼓励由国内出版商出版学术著作；迫于压力，将研究转向更热门或更受推崇的领域；鼓励接受非学术业绩研究基金组织的教学职位，降低科研强度，是影响科研的三大因素。究其原因，三者都与学术绩效研究基金评价科研绩效的方式，及其对国家的研究基金环境的影响有关。
1999年成立之初，学术绩效研究基金壮志满怀，目标是通过评估研究绩效来提高新西兰诸多研究机构的水准。机构设立时，旨在补救科研部门对科研管理的疏忽。当时科研部门负责的范畴包括硕士生教育，文献审阅，科研基金评审发放等。科研部门职能过于冗杂，随着90年代中期大量非大学高等教育机构（比如技校和专科大学）开展研究生教育，这一缺点表现非常明显。更多机构开始开展科研活动，但其中一部分的科研能力非常薄弱，一时出现科研机构研究能力良莠不齐的情况。1999年，海伦·克拉克（Helen Clark）的工党政府上台，包括克拉克在内的5位学者（克拉克是政治研究领域的佼佼者），立志改善新西兰的科研基金管理情况，增加科研可信度。“当时唯一的有效途径就是科研绩效评估制度。”波士顿这样评价道。
学术绩效研究基金是基于个人的，这一点和国家的科研绩效评估不同。每六年，学术绩效研究基金评估并报道新西兰近6000位高校学者的科研水平。科研机构的科研能力有四个等级：A，B，C和R，其中A等最优，往后依次下降。而学者也可申请个人科研绩效排名。评价结果是以科研成果的质量和其领域发展（各领域资源不同）综合考虑。个人科研成果由其所在机构汇总，科研基金主要依此分配。同时还会考虑个人申请到的外部基金以及其教学成就（硕博士学位完成情况）。学术绩效研究基金目前是新西兰最大的第三方科研基金提供机构，在2013年基金总数达2.625亿新西兰元（折合美元2.242亿）。
横跨塔斯曼海的澳大利亚研究理事会（ARC）正准备第三轮科研质量评估。澳大利亚卓越研究（ERA）评估，三年一次，范围涵盖全国41所大学。即将举行的2015年ERA评估，将分类并评估国家所有高等教育的研究成果，即40多万本出版物。ERA按学科评估工作，评估结果将直接影响小部分高校科研经费的申请。
“有些人担心，学术绩效的评估方式可能阻碍青年研究人员的职业发展。”
结果表明，自从引入国家科研评估系统后，新西兰和澳大利亚两国的综合科研能力均有所提高。在新西兰，更多的研究者学术绩效达A级水平；在澳大利亚，更多的学科被评定为“世界领先水平”。但无论是PBRF，还是ERA，关注的都是科研成果对学界内的影响。人们逐渐意识到，学术研究的社会影响也十分重要，只重学术绩效意义不大。同时，研究者们也担心，关注学科内的科研绩效评估，可能无法正确评估跨学科研究的价值。此外，正如波士顿最近收到的邮件暗示的一样，学术绩效的评估方式――特别是只看期刊杂志影响因子――可阻碍年轻研究者的职业生涯发展。
PBRF和ERA均有系统的质量指标和同行评议作为评估依据。这些指标被广泛用于世界各地各类学术研究评估。然而，对PBRF来说，所有提名的出版物和其他研究成果均有指定评委评估――这是一个依据个人主观判断的定性过程。
相比之下，ERA更看重文献引用次数。“引用次数和参考次数在学界内能够很好地反映文献在学界内的影响力。”澳大利亚研究理事会首席执行官艾丹·伯恩（Aidan Byrne）这样说道。
悉尼科技大学研究部副部长阿提拉·布隆斯(Attila Brungs)评价说，这些学术绩效评估可能对青年研究者的职业生涯发展产生障碍。“这些指标能造成一些非常奇怪的现象。博士生通常发表的文章比较多，但是影响因子比较低。”
更广泛地说，青年研究者的成果通常较难通过较权威杂志的审核，这是以个人为中心的绩效评估体系的缺陷。学术绩效评估更多的是鼓励机构雇用比较知名的研究者，而不是具有潜力的年轻研究人员，因为这类研究者发表量不够。有证据显示科研机构不愿雇用青年研究人员。有研究显示，第一轮和第二轮全国学术绩效评估之间，35岁以下科研人员的人数有14％的下降。
事实上，2008年PBRF的一个独立审查发现，很多优秀的年轻研究人员由于较低的评价科研热情受到伤害。该审查由监督PBRF的高等教育委员会（TEC）实施。其结果表明，“一个‘C’级评价能极大打击青年研究者的研究热情，同时对其职称评定产生极大的阻力。波士顿说，PBRF设立之初，无意透露个人科研绩效评定结果。系统建立之后，波士顿和他的同事们意识到，他们不得不将评价结果透露给研究者们。“我们无法真正保障落实保密法和官方信息法，”“如果我早知道，评价结果需要告知个人，同时其他人也可能知道这个结果，那我当时不会支持它。”
在新一轮全国学术绩效评定来临之际，高等教育委员会推出了一套新的、专门针对青年研究者的评定方法，以解决当前青年研究者的雇用危机。该评定系统中，青年研究者可以采用新的C（NE）评估方法，并且可以参与机构的基金申请和分配。绩效评定结果是以其已有科研成果与其科研年限加权评定，一般来说，每个青年学者至少需要两篇文献。
但很多人，包括波士顿和彼得格.鲁克曼（新西兰总理的首席科学顾问）认为，学术绩效评定中的个人评定，为青年研究人员施加了发表高影响因子文献的“过分”压力。“我见过几个年轻的研究人员，迫于这种压力，劳心劳力想发一篇《自然》。”格鲁克曼说，“如果他们专心于在合适的期刊上发表扎实的、优秀的文献，他们的科研生涯会更顺利。”
跨学科研究评价：貌合神离
跨学科科研工作者也深感委屈。新西兰和澳大利亚的大学越来越鼓励跨学科研究项目――从硬科学到人文科学――从整体来看待社会问题。跨学科研究包括环境可持续性，医学研究等。大部分情况下，这类科研活动由大学或者机构的研究中心实施。
如果说跨学科项目是多彩画面，那么PBRF和ERA的评估则是通过单学科的单色滤镜来评估学术绩效。2012年PBRF的最终报告中指出，一共评估42个学科领域，这些学科领域并不能“准确反映研究活动的组织和进行的方式”。新西兰教育部首席策略分析师马尔尼.迪克森（Marny Dickson）对此的评价是，尽管由此声明，PBRF和ERA并没有提出审核的具体计划。
澳大利亚的情形也不容乐观。澳大利亚学者委员会（ACOLA）――代表澳大利亚四大学术团体：澳大利亚科学院，澳大利亚社会科学院，澳大利亚人文科学院，澳大利亚技术科学与工程院――正在寻求和跨学科研究直接相关的政策条例。在2012年的一份报告中，ACOLA发现，ERA“已经难以评估和报告跨学科研究绩效”。ERA和PBRF都更强调高影响因子。由于大学以ERA的评价结果作为依据，但跨学科研究成果通常影响因子不高。情况仍在恶化。
例如，悉尼科技大学社会研究中心做了很多关于政策的研究，为地方、州和联邦政府做了许多工作。该中心的研究人员发表文章时，会选择发表在其更擅长的领域，市场营销，商业，经济，或社会科学和人文科学等等。这所大学在评估时，从各个学科分别评估其绩效，而不是把研究中心的项目看成一个整体。布隆斯说，“在ERA类似的评估体系中，这种研究中心的工作几乎等于零。”
布隆斯表示，评估的失真目前还没有影响大学的研究重点，毕竟ERA相关的基金还是比较少的。在2014年，ERA总金额仅有6,900万澳元，仅占教育部批准基金的4％。但是，ERA基金的比例将在增大，这意味着可能会减少跨学科合作。布隆斯还说道，“大学不会允许这种扭曲的评估影响其整个科研，但如果我们不改变现状，它确实会危及跨学科研究的发展。”
提高学术评分：一场博弈游戏
如果PBRF和ERA变得更加重要，大学的招聘政策难免会倾向于那些会为学术绩效评分加分的研究人员。一些人担心，这会导致研究机构采取各种投机取巧的方式提高其学术绩效评分。
澳大利亚全国高等教育工会发现，ERA的博弈时代已然开始。个人，部门和机构都在努力争取高的评分，以期获得三年的基金支持。PBRF的结果则能影响6年的基金支持。这种情况下，个人和机构更倾向于参与这场博弈游戏。墨尔本大学原副校长弗兰克拉金斯对此的意见是，“这种情况仍将继续。大学有很多聪明人，他们很快能掌握最优化绩效的方法。”
ERA同行评审小组审查时需要克制带入个人偏好，而ARC目前能够交叉查阅往年可疑的意见书。然而，没有什么方法可以阻止大学在一轮ERA评估之前雇用研究人员，有时甚至是整个研究部门来提高绩效。澳大利亚报纸称，这种“挖人”现象导致相关部门规定2014年3月31日之前确定机构人员名单。此日期后雇用的任何工作人员，没有资格参与ERA 2015年的学术绩效评估。不过，在去年夏天，澳大利亚天主教大学，中央昆士兰大学和查尔斯特大学就已经雇用了研究团体，甚至整个研究部门。
ARC负责人伯恩并不赞同这样行为。但是他表示，ERA排名的目的是资源的再分配，这并不一定是坏事。“我们不希望阻止机构决策其研究目标。”由机构选择性雇用研究人员和团体，以及机构内部制定绩效标准，更好地符合ARC规则中，我们不难知道ERA在澳大利亚大学管理系统中的重要性。因此，大学纷纷设立院系满足全校的出版物量和质的硬性要求。
呼吁更灵活的衡量标准
ERA和PBRF的目标和结构几乎没有变化，但现状如此，研究影响力应当明确纳入学术绩效评估。布隆斯在悉尼科技大学表示，对影响力的强调可能提高学术绩效评估对跨学科研究的认可。例如，与政策相关的工作比与纯学术更具价值。“在《自然》上发表文献能显示卓越的研究绩效，改变一项国家政策（比如饮水）也是卓越学术绩效的体现。”
ARC正在考虑如何评估学术的影响力。但伯恩表示，ARC并不打算将其纳入现有体系，并且ARC并没有足够的资源来支持独立的影响力测量系统。澳大利亚政府目前比较厌恶增加繁文缛节手续流程。
在新西兰，2008年PBRF的审查结果提示，必须将政府创新政策也作为学术绩效评估的一个方面。然而，重新评估也会带来很多问题，具体包括：产业投资更加能够影响整体学术基金总额；学术评估的重视程度也有相应降低。据教育部表示，这些变化反映了一个事实，即外部研究资金是知识产业化的一个“强有力的指标”，并且鼓励“解决实际问题，能用于终端用户的科研”。这种知识产业化是研究影响力的有力证据。
但波士顿并不认为，即使出现这样的变化，PBRF和ERA之类的评估，仍将具有重大意义。他引用了古德哈特定律，该定律指出，一项社会指标或经济指标，一旦成为一个用以指引宏观政策制定的既定目标，那么该指标就会丧失其原本具有的信息价值。“我不理解长久地每六年进行一次同样的、带有轻度偏差的评估有什么意义。评估本身鼓励提高科研质量，但总有些扭曲。”
波士顿还提到，政府需要加大资金和其他资源，或者改善衡量标准（比如不断引入新标准）来提高学术绩效。对于有效资源的不断重新分配，政府能做的也确实有限。“毕竟只有一个橙子，再怎么也只能挤出一杯橙汁。”
资料来源 Nature
责任编辑 李 辉
最震惊的玩弄体制的案例是2006年发生在新西兰的一例。一所重点大学为了提高学术绩效评分，把科研团队重新分类，尤其是把拥有PBRF资质却很少进行科研的教研人员由原本的经济学和生物学等领域，重新分类到哲学和宗教研究领域。这一举措，大大提升了该大学在生物、经济等领域的地位。哲学研究人员数目的激增引起了PBRF评审员的注意，最终发现了这一黑幕。