从英国在1986年第一次进行研究评估训练开始，国家对公众资助的研究进行评估的概念也拓展到了其他国家，包括比利时，法国，意大利，澳大利亚和新西兰。其中一些评估是为了明确科研资金的分配，其他则是对当地的研究在全球范围内的水准进行标杆性调查。尽管这些评估系统的总体目标容易理解，但是各自运行得有多好有待商榷，它们相对效率是2014年2月在澳大利亚墨尔本举办的这次研讨会的中心议题。这次《自然》杂志召集了来自澳大利亚，新西兰，新加坡各个研究机构和大学的专家学者，共同探讨关于科学研究的评估方式带来的结果和影响。在对专题研讨会的介绍中，《自然》杂志的主编Phil Campbell概述了一些问题和观点，这些观点在之后也得到了讨论。“研究的评估者需要明白他们测量科研影响力的方法”Phil Campbell说，“公开是得到信任的必要环节。《自然》杂志欢迎使用多种指标进行科研评估。”“仅仅通过文章引用次数去评估是肯定无法维持的。”他又补充到。

 

　　英国最近重新定位了科研评估项目，将同行互评，历史案例和指标综合到一个叫做研究卓越框架（REF）的评估系统，这个系统今年刚刚投入运行。墨尔本专题研讨会以亚太国家使用的科研评估方案为对照，包括新加坡认真规划的推动知识型产业发展，新西兰关于在科研项目开始之前就确定指标的提议以及澳大利亚的对科研项目的优缺点进行量化评估，认真地考察了英国的评估方法。得出两点显而易见的结论：评估科研的理由充分；得到结论的评估方法也很多。也许第一个需要克服的障碍就是明确目标。

 

　　研究卓越框架（REF）是评估英国大学科研质量的一个新型系统。它的目的是展现公众投资科研的好处，明确使用来自政府的科研资金所需担负的责任，以及分各个学科对英国的科研质量在全球范围内进行排名。

 

　　REF作为科研评估训练的后继者，将会在2014年12月生成第一份报告，报告将被用来辅助四家高等教育基金委员会机构（即英格兰高等教育基金委，苏格兰基金委，威尔士高等教育基金委，北爱尔兰教育和学习部）对约16亿英镑（约合27亿美元）的政府科研资金进行分配。它将对高等教育研究机构在36个学科领域的科研成就进行评价，这取决于研究的质量，研究带来的影响，还有研究的环境。结果会以整体品质的形式发布，其中每项评估意见会被归类为“世界领先”，“国际知名”，“国内闻名”或是“无法归类”。这项评估是由专家组实施的，专家组包括来自商界和政界的代表，他们或者在各自所属的职业中使用了研究成果，或者委托了学者或是与学者们进行了合作。

 

　　●评价研究

 

　　David Sweeney是这次专题座谈会主题报告的发言人，他是位于布里斯托的英格兰高等教育基金委员会(HEFCE)研究、创新和技术部的主任，曾一手推动了REF的发展。他告诉与会代表:“任何人无权随意使用研究经费，如果遇到以前做预算计划时高级科学家向政府要钱并允诺会出成果的情况，基金委员会有权让科学家先证明成果”。

 

　　Sweeney表示科学家们无法假定公众可以理解研究的价值，因此科研评估成为了让英国政府、商界以及社会相信为什么要投资大学以及科研的必要工具。事实上，英国政府希望征召一些企业资助大学的研究，并藉此将商界在全球金融危机时为了预防困难而储存的一些资本解锁。REF搭配上与之匹配的资金计划，可以帮助政府释放之前储藏的私人资本。

 

　　●“这种方法可以进行现在必须要做的工作，虽然它并不完美”

 

　　Sweeney概述了REF的方法，“卓越的学术能力仍旧是公众资助科研最重要的目的，”Sweeney说到，“但是一些传统的衡量科研成绩的方法，如同行评价以及引用次数，不应成为评价的全部内容；嘉奖能给社会带来积极效应的科学研究也非常重要”。他认为REF不会为政府操控研究的方向开方便之门，也不会对资金应用的研究领域存在偏见。反之，REF会提供一种确认所有研究贡献的方法。“这并非是更偏向某些研究领域”。Sweeney将REF表征为科研评估方面迈出的第一步，而不是一种十全十美的方法。Sweeney解释到：“这种方法可以进行现在必须要做的工作，尽管它并不完美。”

 

　　现实中的一些问题，如水和资源的利用，非常复杂而且相互关联，处理这些问题需要用到物理学和生物学，还要从经济学，行为心里学，法学等社会科学中获取专门知识。然而，根据多学科研究专题研讨会的与会者，这些关键的科研工作在之前的科研评估体系中从未被正确地评估过。墨累达令盆地计划是为了管理澳大利亚最大，最丰产的农业区的水资源而制定，通过这一计划，多学科工作组的本质，协作的难度得到很好的体现。“这个教训告诉我们究竟该如何去做。”阿德莱德大学负责研究策略的副校长Robert Saint说到“这个计划不受欢迎，原因是它打算大量削减分配给很多农民的用水。这个计划颁布后很快就被农民们焚毁了，于是整个计划不得不重新回到设计阶段。”问题出在编制报告的墨累达令盆地政府缺乏整合法律、政治、社会问题以及科学的特殊能力。

 

　　澳大利亚最大的国家研究机构，总部位于堪培拉的联邦科学和工业研究组织（CSIRO）对多学科研究并不陌生。它的执行总裁Megan Clark表示：“CSIRO专门从事大规模的、广阔的、泛学科的研究。“当你进入CSIRO的第一刻，你就会意识到这并不是一个从事个人研究的地方。”她说到，“我们以任务为指引，以多学科小组的形式进行研究”。作为结果，CSIRO的研究评价包含传统科研产出，比如专利和期刊论文，还有来自独立的同行评价专家小组的研究质量评估，但关键在于我们还将对终端用户产生的影响纳入了评价系统，终端用户包括公众、政府部门、私人企业、环境组织。

 

　　CSIRO运营着规模很大的多学科合作研究项目，也即大家所知的国家旗舰研究。它们聚焦于国内以及国际都很重要的课题，如生物安全性，预防保健，工业生产与可持续农业。在10年多一点的时间内，旗舰计划已经成长为包含联邦科学和工业研究组织超过半数研究活动的巨型项目了。

 

　　国家旗舰研究是联邦科学和工业研究组织（CSIRO；澳大利亚最大的国家研究机构），大学，其他公众资助的研究机构，私营企业及国际组织间共同合作的大型多学科的研究合作项目。现有11个旗舰研究项目来处理国家面临的重大挑战（见下表）。旗舰研究起始于3个2003年的旗舰项目，现在已经成为澳大利亚有史以来进行的最大规模的科研项目。这些项目占据了CSIRO15亿澳元（约合14亿美元）科研预算的大半，并会在2015年7月达到CSIRO总预算的65%。

 

　　建立旗舰项目需要对组织进行本质上的重组。开始CSIRO在全国保有11个传统的按学科划分的部门，旗舰项目可以从任何部门或者合作组织征调人员。从2014年7月起，它们将会合并成9个旗舰项目。从2005年开始，有一个与旗舰项目合作的基金会已经掏出1.3亿澳元来鼓励大学、CSIRO以及其他研究机构之间的合作。

 

　　Clark回忆，当初很多利益相关者担心旗舰项目会导致该组织研究质量下降，但结果恰恰相反，她说：“去年，我们的研究质量和全球地位创下新的纪录”。举例来说，根据该组织最新的学术健康与卓越报告，CSIRO研究论文的引用率比全球平均水平高出56%。

 

　　“CSIRO的方法与大学里进行的多学科研究不同，大学为研究者提供初始的科研训练环境。”墨尔本莫纳什大学负责学术绩效的副教务长Langfield-Smith说到。科研环境倾向于以学科为组织基础进行提升，这种筒仓式的结构对于需要超出专业进行思考的研究者来说是毫无裨益的。Langfield-Simth提到了招募大学研究人员研究多学科项目的困难。尤其是处于职业生涯中期和末期的研究者，他们发现自己很难放下手中的研究去加入一些可能无法让他们在所在领域的顶级期刊上发表文章的项目。更糟糕的是，多学科研究难以开启：多学科研究通常会缺乏共同语言，分析问题的模式，概念性的框架以及专门的期刊（很多成果只能转而以政府工作报告的形式发表）。

 

　　通过观察，Saint发现同行评议在争取科研资金以及发表论文的阶段也会对多学科研究项目不利。“我记得在生物信息学的早期阶段，数据学家们会争论，说这些理论早在40年前就有了，而生物学家们对数据没有任何兴趣。”组委会提出了一些促进多学科研究的方法，包括为此类研究设置专门的资金支持以及调整科研评估的标准，这样那些政府工作报告中的成果也会被认为是符合条件的科研成果。

 

　　澳大利亚最大的信息与通讯技术研究机构的董事长Hugh Durrant-Whyte建议通过去除一些不利的抑制因素来解决这个问题。他认为基金委员会应该培养一种鼓励科学家去承接一些非常酷而且刺激的项目，而非因为在结题的时候能发表文章的科研氛围。年轻的科学家应当被鼓励去发现一些有趣的东西并获得成功。“这会自然而然地激励科学家的合作以及多学科的研究。”他补充到。

 

　　●当选择是有限的

 

　　研究对于政府的价值与其对于商界，学术界以及公众的价值大相径庭，这也是在一开始就要设定好标准的关键原因。新西兰总理的首席科学顾问Peter Gluckman说到：“这种方式改变了科研的方法，影响了科学家工作和思维的方式。“Gluckman主要指在政府引导的项目在新西兰这样的小国度里占去科研预算的很大比重。或许这个理论最有说服力的论据来自于新加坡，新加坡只用了不超过10年的时间就将生物医学产业从一个很低的起点发展起来。

 

　　新加坡白手起家，用不超过10年的时间建立了欣欣向荣的生物医学产业。尽管新加坡几乎没有自然资源，但它于20世纪90年代早期就制定了以知识经济为基础，用创新推动的经济发展模式。政府认为生物医学科技是一个发展潜力巨大的领域，决定发展自己的相关产业。新加坡2000年开始投资生物医学研究，到2012年，整个产业规模达到了300亿新元（约合240亿美元），包括超过50个生产厂家，50个研发中心以及30家生物科技公司和制药公司的地区总部。

 

　　第一阶段（2000年-2005年）专注于快速发展新加坡的基础科研能力以及基础设施建设，同时吸引其他国家的研发实验室落户新加坡。政府还建立了叫做Biopolis的研发中心。Biopolis由7座大楼组成，占地185，000平方米，耗资5亿新元，并且紧邻新加坡国立大学。

 

　　第二阶段（2006年-2010年）专注于支持新加坡承担转化型和临床型的研究的能力，并将其转化成保健产品和相关应用。Lonza和Genentech之类的大型生物医学公司被新加坡优越的商业和投资环境所吸引，包括慷慨的税率以及接近灵活、高素质的人才市场。

 

　　现阶段（2011年-2015年）专注于鼓励产业的国际投资和与业界的联系。为了方便同私人企业的合作，新加坡政府建立了工业合作办公室。这五年的预算增长了16%，达到160亿新元，这笔资金的一大部分注入了为工业服务的研究。

 

　　David Lane是新加坡科技研究局（A*STAR）的首席科学家，A*STAR和新加坡经济发展董事会都负责实施了最早的生物医学科研项目来发展这一产业。他表示确定影响力是政府制定策略的主要部分。“我们的预算增加了。”他说到“但是其中的30%至40%是被政府留着的，只有当我们的研究工作和产业相结合，政府才会将资金发放给我们”。考量成果的标尺则是公司投资新加坡生物医学产业的水平。Gluckmen说到：“政府对学术功利的态度和专注于积累知识的学术角度有很大不同。政府通常会关心科研对经济、环境、国防以及公众健康的影响，政府的这种优先级排列在小经济体中尤其显著，因此小经济体不会轻易地投资没有价值的研究。

 

　　澳大利亚卓越研究（ERA）最初成立的目标之一就是确定澳大利亚在哪些研究领域拥有世界影响力，墨尔本大学教务长，澳大利亚科学研究委员会（ARC）的前任领导Margaret Sheil介绍说。Sheil曾经多次参与ERA的设计和运行，她指出尽管澳大利亚人口很少，但它在很多学科领域都在参与全球竞争。用一个评估工具展现这些不同的观点不是一件容易的事情。Alan Finkel是莫纳什大学的科研赞助商以及校长，他指出资助机构需要搭建一个框架，这样比如在产业工作，对政府报告的贡献或是将研究成果传达给公众这类工作而不是研究者的同行评议将会被转变成和论文引用次数有相同作用的内容，这样做的目的是提高对研究影响力的评估水平。

 

　　●指标并非是答案

 

　　评估一个国家的研究本身并不是结束。当按照研究成果评估行动时，资助者的观点往往大相径庭，但是他们在一点逐渐取得共识，那就是任何有价值的评估，无论是对科研拨款分配的评估，还是为了鼓励优秀学术的评估，都应当基于一系列的评估，而并不仅仅依据发表论文的数量以及论文的引用次数。在墨尔本专题座谈会最后的专家小组会议中，来自四个重要的科研资助组织的代表讨论了如何去最好地整合从评估中得到的信息。

 

　　“传统意义上，科研评估只会评估已经做完的项目，但是在不断变化的科研环境中，一位科学家过去的成功也许并不能预示他将来能做得很好。”位于堪培拉的澳大利亚合作研究中心组织（CRC）的董事长Tony Peacock说到。CRC运营着全国40家CRC，维系着公众资助的研究者以及业界之间的合作伙伴关系。Peacock认为只奖励那些过去成功的研究策略会阻碍新的方法并抑制创新，而创新恰恰是成功科研的本质。澳大利亚国家健康与医学研究委员会（NHMRC）每年要分配超过7.5亿澳元（约合7亿美元）的政府资金用于科研，其董事长Warwick Anderson也持类似观点，反对仅仅依靠引用和同行评议的指标。

 

　　“不仅研究本身很重要，而且它的成果如何运用也很重要。”他说到，“医学研究者通常希望他们的成果会影响决策者以及医疗从业者，还有其他科学家，这就意味着他们需要在学术文献之外的领域发表文章。为了合理评估他们的工作，你需要检索除了学术期刊之外的资料，比如政府工作报告以及卫生健康专家的看法。因为卫生保健的巨大开销，政府对这个领域非常感兴趣。澳大利亚的卫生保健产业规模大约是1400亿澳元，包括疫苗生产商以及医疗器械研发企业，尤其是它还是澳大利亚第二大的出口工业产品的来源”。

 

　　澳大利亚其他的主要研究资助机构是ARC，它负责分配每年超过9亿澳元的科研经费。ARC还管理着ERA，ERA的目标是确定澳大利亚的强势研究领域。ERA的评估是由国际知名的研究者负责的，以各个学科为单元组织，分成8个科研评估委员会。它们使用传统的方法评估科研质量，如引用次数分析和同行评议，但是它包含了更多元化的评估方式，如加入商业化收益的考量以及受尊敬度的衡量。举例来说，加入一个博学的组织，比如成为澳大利亚科学院的会员。

 

　　ARC的董事长Aidan Byrne在专题座谈会表示ERA会在全球范围内对科研质量进行比较，这是一种严格的，稳定的，涉及所有学科领域的测量方法。他说这样做的目的是为了让研究者完成从注重数量到注重质量的转变。于是ERA评估训练做得非常成功，并且也没有在评估中将训练和经济回报绑架。还有，尽管ERA的评估非常依赖指标，但是被ERA评估为出色的科研项目，在现实生活中也有相对应的产出。比如澳大利亚95%的企业科研投资都用在研究者水平世界一流甚至更好的领域内，商业化的研究中的98%以及发表专利的研究中的97%也是这样。HEFCE的Sweeney对各种评估方式的看法则更加直白：没有完美的系统，但是你需要开始去做，你可以提出替代性的方案，并且花上5年的时间去讨论这些方案，但这不能解决现在的问题。