在评判科学研究的影响力的时候，评估者必须考虑1）特定评估方法的效果――并且2）公开他们的评价方法。
科学那么多，而时间则少的可怜。置身于浩如烟海的研究文章、数据集和其他成果中的时候，经济窘迫的研究赞助方和雇主需要一个捷径来鉴别和奖励那些重要的工作。他们的选择多种多样：研究的影响力现在被看作是一个多维度的事情。
引用指标、在具有影响力的期刊上发表成果以及以读者投书和采访的方式表达同行观点等这些对学术重要性进行评估的传统方式仍然十分重要。但是现在又有一些新的方式加入到这些评价体系之中，比如文章的下载量和访问量。美国北德克萨斯大学的跨学科研究中心，在今年（即2013年）提出了56种测量学术研究影响力的方法，包括对课程设置的影响、教科书撰写者的影响、以及在同事对其评价的调查中获得的满意。其中一些评价方式看起来有些不切实际，但是这也表明对科学家来说，用各种方式来表明他们的工作值得关注――进而值得给予经费支持从来不是一件容易的事情。
《自然》在这期的专刊中，探讨了一些对研究影响力进行追踪的传统方式和新兴方式。并指出，要由相关机构和经费赞助者来选择他们的偏好，不过在这个过程中，评估方案需要考虑到两个重要的因素。
第一，意识到特定评价手段具有积极和消极的双重影响。比如，如果研究成果发表在一系列具有影响力的期刊――《细胞》，《自然》和《科学》――其中之一上，那么这个研究就是特别重要的。对于上述观点的过分强调会让科学家雄心勃勃地思考他们的研究目标，这可能是一个有益的尝试。但是这也有可能会导致科学家们在发表重大成果方面面对过大的压力，比如导致为发表而发表的问题。
下面这种观念可能是错误的，即发表在一个引用率较高的期刊（根据其影响因子来测度）上的某个研究成果就一定是重要的。因为《自然》已经多次强调了这样一个状况，即同一期刊上的两篇文章可能会有完全不同的引用记录。最好把目光聚焦于某一文章的引用量、访问量和下载量方面――并且还要意识到这些评价方法在不同的学科中是不同的。
另外一个例子就是，强调科学研究对经济的影响力可能会促使科学家思考去证明纳税人对他们的研究工作进行资助的正当性，但是也存在着一种风险，即导致他们对毫无意义的专利以及考虑不周的衍生公司的分心。
第二个重要的因素就是评价人员要明确说明他们所采用的方法。公开性是获取信任的关键要素之一。评价人员应该发布如何对评价进行计分的范本，以及阐明为何如此计分的原因；如有可能，最好的做法应该是发布全部数据。否则研究人员可能有正当理由对这种做法感到怀疑。
当科学家们抨击这些评价手段的时候，他们的论据有时候是基于不相关的术语之间的混淆：在绝大多数情况下，这些讨论扩展成了对影响因子滥用的抨击，而不是对可能的评价范围的考虑。期刊引用率的评价方法获得了具有误导性的地位，因为期刊的名字碰巧包括了文字的影响力――可以进行大范围辩论的语义协同性。
当评价人员没有注意到我们上述两个因素的时候，反对影响力评价的声音是最强烈的。在这些例子中，评价人员盲目地选择评价方法，而没有对其负面效果进行充分考虑，或者他们对评价的方法论不是遮遮掩掩就是反复无常。如果评价人员想获得科学家对其工作的接受――而不是鄙视，他们最好注意到这些问题。
资料来源 Nature
责任编辑 粒 灰