玛格丽特·谢尔说，尽管具有一定局限性，澳大利亚卓越研究报告（ERA）出现在正确的时间，起到了应有的作用。
本文作者：玛格丽特·谢尔，墨尔本大学教务长。
本世纪初，澳大利亚政府决心改善本国科研情况。具体包括：有针对性地投资研究机构，建立基础设施，并成立了许多世界一流的研究中心。然而，也有人认为澳大利亚卓越研究报告（ERA）涵盖范围太小，评估结果不公平。到2007年，澳大利亚的40所大学中只有两所名列世界大学学术排名（ARWU）100强。同年，一份公开支持科学和创新的澳大利亚生产力委员会报告指出，现有创新体系需要进行以下几点改进：缺乏基于行业的研究和开发，科研劳动力不足，评估方法较少。
政府认为，澳大利亚目前的双资助体系（包括以个人科研绩效分配的基金和对机构进行一揽子拨款），并没有对科研工作者产生足够的激励。尤其严重的是，对机构的一揽子拨款是根据公式计算的。而该公式只考虑了机构发表的学术刊物总数，却并未考虑其质量。显而易见，这样导致的结果是：出版物的数量增加了，但整体质量没有提升。政府需要一个新思路来解决这一问题：鼓励大学关注科研，建立优势学科；提高科研绩效；并激励研究人员提高出版物的质量。而同时，必须保证这一思路的实现是系统而具有成本效益的。
以学科为单位
从2007年到2012年，我在澳大利亚研究理事会（ARC）担任首席执行官，ARC负责制定新的科研评估激励体系。我们不是从零做起：上届政府花了近四年的时间设计新系统，同时我们也可以从其他的评估体系，包括英国的科研水平评估（RAE），以及新西兰高校绩效科研基金（PBRF），获取灵感。
然而，没有一个办法完全适合于澳大利亚。上届政府依赖于个案研究，以评估研究的影响力。案例研究花费很高，耗时甚长，并且，新部长认为，该设计并不足以用于确定基金分配。同样地，PBRF和RAE在不同程度上都略显片面，关注的重点是最佳的学术成果，却忽略了机构中绩效不足的部分。RAE设立专家小组，评估出版物的质量，这个过程昂贵而漫长。此外，两个评估体系的评估标准都不适合澳大利亚：PBRF评估个人资质，因此难以大规模实行；RAE评估机构。但是，澳大利亚的大学结构更复杂，有部门，学校，院系或者研究中心，不能直接生搬硬套。
但，这些评估的的确确提高了科研机构的科研绩效。值得关注的是，21年来的RAE评审结果表明，其对机构的评分和机构出版物的引用绩效是正相关的。这表明，这些量度指标在许多科学学科是非常有效的，尽管其不适用于其他学科，如人文学科和数学，这些领域引用次数并不准确，且无太大参考价值，或者是书籍比期刊文章更重要。
在设计我们的评估系统时，ARC广泛征询机构，高校，学科带头人和文献计量学专家的意见。我们选定了“学科”作为评价单位，因为它避免了学校结构和个人因素（从而最大限度地减少个别高校和其他学校挖学术明星的可能）。在引用次数评估不适用的学科，我们通过同行评议来代替。这种方法对艺术创作的评价十分有利――在澳洲，大部分音乐学院，视觉艺术和表演艺术院校都已纳入大学。
澳洲卓越研究报告于2010年通过，评估范围包括一个学科内的所有出版物，而不是一组研究人员最好的研究成果。ERA确保关注每一个研究者的科研质量，而不是数量。而且由于其特定学科的评估符合已确立的学术实践，评估结果被绝大部分人所接受，只有少部分结果存在争议。
“引用次数分析可以作为出版物质量的指标”
总体而言，ERA的评估结果已具有很高价值――尽管ERA只能决定一小部分基金的分配。重要的是，它已经证明，引用次数分析，可作为许多学科出版物质量的有效指标，有效反映了各机构科研的长处和短处。这一信息为政府，大学，工业和学科所需要，并被广泛使用。ERA显示了我们的科研跟国际相比的实际水平：澳大利亚现在有5所大学名列ARWU前100名，19所名列前500名。
任何综合评价体系，必然会受到部分人的批评。但是，经过广泛征询意见，并基于学科的差异化评估方案，反对的声音越来越少。虽然人们普遍接受竞争有赢有输对个人和机构有益这一事实，但政治层面上的“输”对机构来说意味重大。比如说，会影响哪些服务于日渐壮大和多样人群的机构。这些因素都超出了ARC的控制，与ERA本身也无关。ERA虽然不完美，但已能实现其目标。
资料来源 Nature
责任编辑 李 辉
● 相关链接 ●
世界大学学术排名 （英文：Academic Ranking of World Universities，英文缩写：ARWU），由上海交通大学主持，2003年首次发布，根据研究结果，每年公布一次。 “世界大学学术排名”是全球第一个发布的世界大学排名，被国际权威机构和著名专家公认为世界上最为科学、最为权威和最为广泛采用的世界大学排名。该排名列出了世界大学500强；还排列出五大领域和五大学科世界大学100强。――百度百科