世界各国政府都在思考，科研基金的投入是否得到了足够的回报。这无可厚非。正如新西兰总理首席科学顾问彼得·格鲁克曼所说，“这是国家科学政策的目的所在。无论作为直接还是间接标准，科研成果的影响力都是科学政策制定的重要考虑因素。比如说，公共部门和工业部门资金投入的比例，以及医疗领域和环境领域投资比例，这些都离不开影响力的考量。”
大型经济体有实力投资于包括从纳米技术到宇宙学在内的各个学科的科学研究。较小的国家，如澳大利亚和新西兰就需要精打细算。格鲁克曼说：“国家越小，更受限制。所以，对待科学创新体系，政策制定者会更加谨慎，更注重优先次序。毕竟此时科研基金的分配更具战略意义。”
确定科研对整个社会而非仅学界的影响，能帮助组织和机构的决策者进行决策。但是，困扰格鲁克曼等人的是如何定义对社会的影响。他说，“你必须对社会、世界有非常清晰的认识，影响的种类多，而每个人的看法又有差别。各国政府必须确定，他们需要的是哪方面的影响。”现在人们困惑的三个问题是：1、影响力的具体标准包括哪些？2、在科研项目的哪个阶段来评定影响力？是项目进展中期，还是项目完成之后？3、影响力带有一定的主观性，而且是定性的，有可能合理评估影响力吗？
价值评估
格鲁克曼在奥克兰的办公室是小型发达经济体倡议协会（SAEI）在科学，技术和创新领域的行政总部。SAEI是主要讨论小型发达经济体面临的重要挑战，机遇和政策的机构。对于这些国家，确定优先投资的科学和创新领域对经济繁荣有重要意义。
SAEI已开始开发一种“影响力分类法”，用于帮助对科研项目造成的影响进行分类。该方法不仅包括直接的经济效应，也包括无形的因素。例如，诺贝尔获奖者能提升一个国家的科学声誉，这也是一种影响力。格鲁克曼说，一个全面的科学体系必须考虑所有对人们有益的影响力。他认为，影响力分类法有助于全面考虑影响力。他举例说道，“生物安全研究，减少了手足口病的发生，或让一个国家能更好地抵御地震，这种研究的价值如何评价？如果我们只关注一种影响力，这种类型的研究很容易就被遗忘。”
不过，研究产生影响力，往往在多年之后才有体现，这意味着影响力的评估又面临严峻挑战。评估者需要确定调查机构和中间成果来衡量研究进行的方向。位于新西兰威灵顿的Motu经济和公共政策研究所负责人、经济学家亚当.贾菲（Adam Jaff）目前正在从事这类工作。贾菲目前在建立一个评价框架，该框架将影响力分为五大类：经济，社会，环境，公共政策和军事能力。该框架旨在帮助决策者全方位考虑科研项目潜在成果，并帮助他们决策哪些项目继续追踪，以及如何追踪。
而批评者认为，许多科学发现是偶然的，这种面向目标的方法可能会导致更少科研经费投向这种不考虑用途的研究。格鲁克曼并不认同这种观点。他说，知识的进步本身就是一个目标。贾菲，作为一个美国人，则用棒球队比喻来维护影响力评估，“有人说，影响力评估让科研工作者远离基础科研，而重影响。我认为这种说法有失偏颇。这就好比，棒球赛里，有时你三振出局，有时候你打得很棒，但我们会更重视平均水准。我们要看的是在众多标准中，哪种方式能够产生最好的平均结果和成就。这个过程中，不可避免有一定随机性，但这种随机性并不能说明，评价体系阻碍科研的进步。”使用这种从多维度多指标分析的评价框架，最大程度地减小遗漏重要影响的概率。
这种框架可能对新西兰最近推出的国家科学挑战计划（NSCs）很有吸引力。NASs为对国家有重大意义的科研领域配置基金。NSCs的投资时间为10年，是新西兰政府支持更长时间跨度科研项目的重大举措。一般来说，大多数机构，都只提供三到五年的基金支持。在他们的计划里，申请者需描述他们的十年愿景，预期成果和影响。
奥克兰大学的物理学家肖恩·亨迪和他的团队最近向NSC提交了一份名为“科学技术创新”的申请。该申请项目的研究目的为“增强新西兰利用物理和工程科学来促进经济增长的能力”。亨迪同时也是奥克兰大学复杂系统和网络研究中心的负责人，在申请过程中发现研究影响力讨论部分阻碍了他的申请。他表示，“我们的计划涵盖了非常广泛的学科和工业领域。制造技术的变化太快，为了达到影响力的要求，我们不得不努力设计一个能够产生短期影响，但对未来十年都有意义的研究计划。”
被授予国科会资助的研究小组需要拟定一个“影响力途径”计划，其中包括监测和评价部分。亨迪认为，从长远来看，这种评估益处不大，因为该体系不衡量机会成本。他表示，要确定国家科学挑战计划能够带来的实际益处，经济学家需要了解我们基金支持的项目，还需要了解我们没有支持的项目。“而目前的这些评估方式，更多的是官方做选择题，而不是真正去衡量科学对社会的价值。”
澳洲规则
联邦科学与研究组织（CSIRO）是澳洲最大的政府资助的研究机构。其总部设在堪培拉。据CSIRO的马克.约翰（Mark Johnson）表示，CSIRO是一所研究计划正式且透明，并且自我监控和评估其研究的影响的公共研发机构。这在澳大利亚甚至世界范围内都是比较少见的。马克.约翰是“2020年影响力”的项目经理。该项目于四年前推出，旨在为评估CSIRO重点科研项目在经济，环境和社会方面的影响力评估制定一个框架。对于CSIRO，影响力用于指导其“4A”工作的展开，即分配（资源），宣传，问责制（对政府和其他主要利益相关者而言）和分析（旨在性能提高）。
CSIRO依据影响途径模型来做分析，该模型描述一个项目的投入，活动，产出，预期成果，以及最终影响。例如，通过新研究出的方案提高生产率。在一重大项目中，项目负责人可以根据资源的变化，或者CSIRO或其客户和合作伙伴的目标，修改这些途径。
CSIRO的研究影响计划是一个动态的过程，该组织不断追踪学科以外的变化，以此评估研究项目的重点是否仍然合时。这种着眼于更广阔的世界的做法也有利于提高内部参与度。“很多人对于长期影响力评估非常不安，因为长期影响显得太过遥远，脱离实际。他们因此也懒于参与。”CSIRO绩效评估部门的执行经理马克.巴扎克（Mark Bazzacco）如是说。他表示，“监测实现影响力的每一个进步”，而不是“监督影响力”，有助于科学家关注其项目目标，并更好地理解其自身在改变世界过程中起到的作用。
巴扎克给出了一个例子。一些研究的影响力是几十年工作累积的成果。墨累达令管理计划是一个以对墨累达令河流域测量和建模的大型合作研究项目。除了收集数据，相关研究人员也帮助决策者了解他们的模型以及研究结果，从而帮助其制定关于用水的规则。但是，一旦新政策被制定，采纳与否取决于州或联邦政府，而实施效果则取决于实施者。要看到该项目的最终影响力（包括环境，农业，社会和经济等）至少需要另外一个十年。与此同时，本项目研究人员已经转移到其他项目。影响力最终检测有助于鉴定研究者在哪些方面起到了作用（例如，项目指导，以及和相关政府或工业部门的沟通），并避免了将超出了研究人员的控制范围的不利影响归因于研究者（比如，在此例中，政策的执行）。
无线局域网(Wireless LAN)：CSIRO科学家解决了电子设备的无线网络速度慢的主要问题――即房间内信号的混响。该组织申请多项国家专利，并在1996年获得了美国无线局域网（WLAN或无线网络）的专利。这一成果带来了重大的社会和经济影响，并彻底改变了通讯。该技术目前已被全球约十亿设备使用。CSIRO与20多家国际企业有许可协议，价值超过4.3亿澳元（折合4亿美元）。
墨累一达令流域管理计划(Murray-Darling basin plan)：墨累-达令是澳大利亚最大的河流系统。它为约10％的人口提供生活用水，并为全国农业提供了40％的用水。多变的流量引起社区和产业界的广泛关注。CSIRO科学家测量流域内的可用水，并创建了一个模型。2011年，他们发表了一份关于该流域水资源计划、管理和投资的报告，并且对2011-2030年期间集水区的建立，地下水开采及此对气候条件的影响均建立了模型。该报告直接帮助政府投资决策，该项目的影响力体现在帮助政府和公司更合理分配投资，提高水利基础设施效率。据估计，该项目至少帮助节约了28亿澳元（约合26亿美金）。
虎虾和水产养殖(Tiger prawn and Aquaculture feeds)：2010年，CSIRO宣布，其与澳大利亚养虾农民的10年合作硕果累累，成果选育了在咸水中生长率和成活率大大提高并可持续繁殖的黑虎虾。这一成果对行业的经济影响约为每年1.2亿澳元（约合1.12亿美元）。同时，另一CSIRO研究小组开发出一种新的水产饲料成分（Novacq）。该成分从海洋微生物提取，能使黑虎虾的生长率提高30％。这二者预计造成的虾产量增加经济收益约为4.3亿澳元元（约合4亿美元）。
堪培拉合作研究中心（CRC）计划，由联邦政府于1990年成立，也同样从相关应用领域来考察研究的影响力。CRC支持跨学科团队（其中通常包括来自CSIRO的研究团队），并对各个科研团队精心管理，评估影响。CRC协会的首席执行长托尼.皮克尔如此介绍道。所有的CRC项目从一开始就包括最终用户的参与，确保项目始终以解决实际问题为目的。CRC的任何项目申请也需要完成类似CSIRO“影响途径图”的影响力描述。
在过去十年中，相关部门已对CRC项目进行了三次彼此独立的回顾性分析。分析采用的方法先获得了政府官员的认可，采用反事实视角。也就是说，他们假设，如果每个CRC研究项目都未发生，对世界产生的影响。这三种分析均表明，CRC已对社会产生了积极的影响，包括经济指标上的影响（如国内生产总值）。皮科克对于这种分析评估过程非常坦然。他说：“说服公众研究的价值是有意义的，公众希望知道我们在做什么。而这些回顾性研究，直接针对那些有权决定是否继续为CRC项目投钱的人。”
高校面临挑战
澳大利亚的高等教育，其中包括全国所有大学和将近全国三分之二的科学家，都不经常进行针对研究项目的影响力评估。而如今，这些机构，不得不通过澳洲学术绩效评估计划ERA监测其研究质量。
2003年，当时的自由党政府开始制定一个评估系统，也就是所谓的研究质量体系（NQF）。NQF关注研究的影响力，同时也关注研究质量。但在2007年12月，在NQF即将完成的前几周，上台的工党政府废除了这个系统。澳大利亚技术网络大学（ATN）阿德莱德校区研究部高级策略分析师马特·布朗认为，此举造成了一个有效决策工具的丢失。他说，“我们都知道，汽车制造业突然从澳大利亚消失了，人人都在疑惑，国家将来的工业产业怎样发展。研究影响力评估将有助于引导现在的政策决策。”
另一试图推动研究评估的举动是在2012年，12所澳洲大学参加了澳洲创新绩效计划（EIA）试验。EIA采用的是基于案例分析的评估方法，这种做法可以用于系统地评估大学多种学科和领域的研究影响力。布朗说，“12年的时候，国家也确实需要把评估学术绩效提上日程。试图说服政策制定者时，你需要拿出证据。”在EIA的报告中，作者们指出，他们实现了计划的目标，即“评估由澳洲大学研究衍生出来的创新”，并且他们完善了科研项目影响力评估的方法学。
“如果衡量影响力的目的是告诉政客研究的价值，那么我们接受这些吧。”
澳大利亚首席科学家伊恩·查布，似乎对于影响力评估体系对高校的益处并不确定，并对回顾性案例分析的研究评估方法存有怀疑。最近英国启动了新研究绩效评估体系。这种方法也具有高度选择性，大学选择性提交那些最优秀的研究项目成果。查布在明确任何评估系统的目的这一点上和格鲁克曼意见一致。“如果评估影响力的目的是为了向政治家展示科研贡献了多少经济效益，那么我们就应该接受它，”他说，“但是，如果影响力评估和基金挂钩，那么政府要小心了。这不只是为随大流。你不会因为15年前有人的想法具有经济效益，就给一所大学拨款。“
为了更好地协调科研活动和投资，摆脱“大流”影响，总部设在堪培拉工业部，由查布担任主席的澳大利亚研究委员会（ARCOM），起草了一份科研投资计划，以指导政府决策。该计划于2012年11月发起。ARCOM的成员来源广泛，包括澳大利亚研究理事会（ARC），国家健康与医学研究委员会（NHMRC）和CSIRO的主要领导。ARCOM建议启动一个大学为重点的影响评估机制，作为ERA的补充。ARCOM于2013年6月发布了一份讨论文件，8月截至征收意见，时间刚赶上政局变化。现任自由党不支持这个计划。
在缺乏政府领导的情况下，一所澳洲大学已经决定开始研究影响力评估。前任墨尔本市维多利亚大学副校长沃伦·佩恩表示，“现在的政治环境和以前不同，我们需要为影响力评估做好准备。影响力评估可能成为ERA体系最重要的评估标准。”
维多利亚大学的研究项目是通过回顾性和前瞻性影响力分析来评估的，考察经济，社会和环境效益，同时对经济或社会投资人作关于其可能影响力的定性调查。该大学目前正在试用该系统，并引入独立的评估机构评估进展情况。到目前为止，维多利亚大学社会科学和科学技术部门的11个项目已成功地进行评估。评估通过等级量表评定，指标是影响力的大小和范围。
佩恩认为维多利亚大学的影响力评估系统能有效指导其研究决策。但他表示，该系统最大的作用是把科研人员的目光聚焦在其预期成果以及是否都实现了目标。并且，该系统具有另外一个好处，能激励科研工作者的工作热情，因为他们意识到自己的工作可能会对未来产生怎样的影响。
群体工作
关于影响力评估最大的争议之一是需要纳入一些非传统的研究。查尔斯特大学沃加沃加校区执行校长蒂姆.韦斯说：“过去已得到广泛应用的工作往往被认为很重要。”他给出了一个对比做例子，旨在减少术后死亡率的护理流程的研究和粒子物理学的基础研究。评估两种类型研究的绩效和影响力，“会让竞争更公平”，他补充道。大学推广委员会和基金申请评审也可以参考这类评估信息。
“没有任何一类指标能同时表征绩效和影响力。”
不幸的是，没有一类指标能同时表征研究的绩效和影响力。如果没有人把知识转化成实践，发表再好的文章，可能都不会产生学术界以外的影响。这就涉及到时间框的问题。个人或组织的研究工作完成之后几年或几十年可能都看不到研究带来的社会效益。并且影响评估有怎么梳理开这个漫长过程中个人或者机构的贡献呢？
事实上，影响力评估的方法学是问题症结所在。佩恩曾和ARC讨论过维多利亚大学的影响力评估方法。ARC负责ERA评估工作的执行，是澳大利亚最大的研究基金会（一共两家）。“ARC认为，虽然我们的方法也许可以很好地应用在一所大学里，但难以确定是否能够大规模系统性实施。”他说。另一家基金机构NHMRC，要求基金申请中提到影响力，但条例没有明确，而且随着计划的改变，该条例也有变动。NHMRC首席执行官华威安德森说，“现在比较重要的问题是，影响力的具体指标是什么，哪些算是有力的影响力证据”。
到目前为止，这个讨论仍然无法得到一致结论，ARCOM仍将继续纠结这一问题。“我不是说这不对，也不是说一大堆聪明的人无法找到一种解决方法，”查布说，“主要是这个问题不能过分简单化。”