科学家们的工作通常是由ISI公司编撰的引用率统计来进行评价的。但是，这些数据的有效性和可靠性又如何呢？本文作者对此进行了分析——

据说世界上有三种类型的谎话：谎言、该死的谎言和统计学。对于那些发现其工作是通过在科学文献中的引用次数来评价的科学家们来说，当然会赞同上述说法。引用率分析，在非专业人士手中，会变成非常生硬的家什。更为糟糕的是，在这些原始引用数据中经常会有种种错误。

具体实施引用率分析的人士依赖于由ISI收集到的数据（ISI是一家位于费城的公司，名为科学情报研究所（Institute for Scientific Information））。在过去的40年里，ISI扫描了众多学术出版物中的参考文献，并把这些引用与先前发表的工作进行比较，相应得到的数据库实际上是为了信息检索（为了使研究人员能快速搜索到相应的文献，并且能确定在某个领域中工作的科学家）而研发的。

对于政府部门、基金会以及科技促进会来说，找到可靠的用以衡量研究水平的标准是很困难的，所以他们经常用ISI的引用数据来帮助进行评估。他们的观点是，重要的文章必然会被频繁地引用，这是一个合理的假设。但不考虑这些原始数据的质量和局限性而盲目乱用的话，那所得到的结论就有可能很不合理了。

ISI也承认他们的引用率分析是有局限性的。但是，对于那些负责对科学家们的工作进行评估的人士来说，这些数字的诱惑力是无法抗拒的。自从ISI在1990年被其创办人尤金 · 加菲尔德（Eugene Garfield）出售之后，它已经对这种需求作出了反应。该公司现在属于多伦多汤姆森公司，这家公司生产了一些软件包，利用这些软件包，用户可以进入公司的数据库。比如，去年他们发布了一种名为ESI（Essential Science Indicators科学指标精华）的软件，该软件可以用来对潜在的雇员、合作者、评论家以及同行进行评估。

与此同时，ISI对于那些独立的文献研究者们使用其数据的态度更加强硬了，后果之一就是引起他们抱怨说他们现在正面临着价格的上涨以及在使用数据方面的限制，而这有可能使他们完全无法进行引用率分析。

许多文献学研究人员现在都非常关注这一事件，他们认为，独立的研究组可以有助于引用率数据的质量控制。另外一些人警告说，ISI现在正引入一种越来越容易被滥用的产品。一位文献学研究人士指出：ISI通常把所有的其他问题都放在随刊的注释中加以说明，但是谁会去读那些东西呢？这对于像我们这样的专业来说，是非常令人沮丧的。

选中和漏选

作为引用率统计被滥用的后果的一个例子，许多专家们都指向了ISI发布的期刊影响因子——用以测度每一种期刊所包含的文章的平均引用率的指标。出版商们都非常倚重这些数据，常常把一些有利的影响因子写到其期刊的宣传材料中；而图书管理员们也认为它可以很方便的指导他们应当去订阅什么样的期刊。

但是，影响因子的效用远远不止这些，它们常常被用于对各个研究所、系以及科学家进行评估。对于诸多研究人员工作的重要性的一个最为明显的衡量便是直接计算他们论文的引用率。而这些数据都可以从ISI的数据库中得到。但是，要ISI或者其他独立的机构去对这些数据进行分析，早已被证明是耗资巨大而且旷日持久。因此，作为一种廉价而且有意义的选择，许多评估机构便直接去查看科学家们的发表记录，然后基于其论文所发表的杂志的影响因子来对其进行评估，而且，这些数据是很方便得到的。

例如，在德国的一些大学里，经常把科学家们发表文章的期刊的影响因子变成公式，用以决定各个系的经费分配。意大利癌症研究协会要求经费申请人结题时要计算其文章所发表的杂志的平均影响因子。在其他地方，一些委员会用期刊的影响因子来作为决定升职和委任更是各具其地方特色。

学科间的差异

不同学科中可比较期刊之间的影响因子的差异是很大的。

那么，争议从何而来呢？写下一系列某个领域中的期刊名，你会发现（很少有例外）似乎在期刊的影响因子和它的质量之间的确有某种关联。但是，当比较不同的学科领域时——这是ISI所禁止去做的——马上就会发现上述结果失去了意义：数学领域的研究者们通常只引用几篇文献，而分子生物学领域里的一篇典型论文则要引用十多篇。这导致了学科间影响因子的巨大不同，甚至在不同学科中地位相当的期刊，其影响因子也是有很大差距的；而且，对于那些主要发表综述性文章的杂志，其引用率通常要更高些。

其他的问题就不这么显而易见了，但是当用其去评估一个科学家时，其潜在的严重性就更值得担忧了。在挪威镭放射医院从事文献学研究的彼 · 西格勒（Per Seglen）指出，在一本期刊中大约15%的文章要导致其一半的引用率。这表明，一本影响因子高的期刊中的某篇文章其引用次数不一定会比低影响因子期刊中文章的平均引用次数多。西格勒指出：“在文章的引用次数和杂志的影响因子之间的确存在着一个整体上的关联，但这只是一种单向的关系，杂志的影响因子高并不能说明其中的任何文章的引用次数都高。

不均匀的分离：一本期刊中，85%以上的引用率是由大约一半的可引用文章提供的。

ISI对于使用期刊的影响因子来评价个人也提出了警告。该公司负责对外交流的副总裁大卫 · 卡特（David Carter）指出：“ISI从来都没有把这些数据设计成评判一篇文章重要性或者某个科学家的工作的权威标准。”

但这并没有阻止这种趋势的发展，芬兰就是一个非常极端的例子。在那里，政府对于大学医院的拨款部分上是依据其发表文章的得分，而这个得分是与研究人员发表文章的期刊的影响因子相对应的。

赫尔辛基大学校长卡里 · 莱维奥（Kari Raivio）指出：“据我所知，芬兰是世界上唯一一个用法律来肯定期刊影响因子的国家。”他经过计算后得出，在2000年，一篇在影响因子是3的杂志上发表的文章比在影响因子为2的杂志上发表的文章能多拿到7000美元的经费。

不确定的比例

帕莫拉 · 布拉兹克（Pamela Blazick）是ISI《期刊引用报告》的编辑，期刊的影响因子正是刊登在这本杂志上的。他指出，期刊的每一页首先都要用一种光学字符识别软件进行扫描。为了把研究论文存入其数据库，ISI的工作人员们要特别关注以下几个域：作者、地址、期刊名、卷号、年份和页码。然后，一台计算机从上述各个重要域中选取信息来建立一个与该文章唯一对应的识别码或“标签”。对于该文章结尾处的参考文献，也采用一个类似的数据采集和标签的过程。之后，通过计算把这个引用标签与数据库中的任何文章的标签进行比较，每当其相互吻合，那就是一次引用。

期刊的影响因子的计算就更简单了。在前面所述的所有重要域中，只采用期刊的名称和年份就可以了。通过这种方法，在某一特定的年份，可以得到对于一本特定的期刊的大量引文数目，但是这也同时意味着引用次数不可能与每篇单独的文章去匹配。正是利用这种方法，得到了诸如《Nature》、《Science》和其他一些重要医学期刊的影响因子。然而，这些期刊都有很多不同的章节，包括新闻和通信页面，这些页面可以增加引用次数，但是本身却不是可引用的文章。

这些偏差都是系统偏差，但是一项由《Nature》杂志进行的调查显示，ISI的期刊影响因子偶尔也会受到随机因素的影响，这主要是由统计可引用文章数目时的涨落引起的。例如，对于《Nature Genetics》来说，在1996年，就有很多的可引用文章没有被统计。在较近的2000年，《Nature》中的可引用文章的数目似乎因为错误的包括了一些非原创性的研究报告而大大扩大了。这主要是因为在统计时，把一些名为“未来”的章节中文章也统计到了可引用文章中去了，而这一章节的文章都是一些科幻短文。

布拉兹克承认，有些错误是完全可能的，因为可引用文章和不可引用文章的区分是手工进行的。她谈到：“随着我们进行这个程序的快慢，差错率也会有一定的变化。”但是，她也指出，这些误差也许会互相抵消，因为当我们遗漏了可引用文章的同时，也同样可能包含了不可引用文章。

当前的一项重要的事情就是要发展一系列方法，用以检查一些以机构为作者的文章的引用数。因为ISI似乎没有统计完全这类文章的引用次数。这一点引起公众注意是在1月3日和4日，即在《Nature》调查了一篇文章的引用次数之后。那次调查是针对去年里程碑式的工作（人类基因组序列草图）进行的，因为在发表这项工作的论文上，其作者为国际人类基因测序联盟，而它的引用次数却低得令人生疑。《Nature》调查的结果显示，ISI统计时，只是考虑了所有非机构作者（由马萨诸塞州卡布里奇怀特黑德生物医药研究所的埃里克 · 兰德领衔）的引用次数。

歪曲的记录

《Nature》并不是第一个指出ISI数据不规则的机构，一些研究人员在研究ISI提供的他们个人的发表文章记录时也曾发现过差错。也许，这些差错的最大来源就是科学家们在引用他人工作时的差错。与本文开头时所说的那种“谎言”相似（通常说是马克 · 吐温发明的，但事实上，是他从维多利亚时代的英国首相本杰明 · 蒂斯瑞里借鉴过来的），参考文献中的错误意味着引用数统计会把引用数张冠李戴。实际上，这些差错可以蔓延到ISI数据库的每一个数据域中。

鉴于ISI面临的这些困难以及要处理的大量数据——包括5700种科学期刊——文献学专家们承认，该公司面对的是一项非常艰苦的任务。ISI也有一个质量控制部门来核实这些数据，而且据说其用来匹配文章的算法程序也经过了改进，可以对付通常的打字错误，包括对作者名字的错误拼写。但是，输出的质量仍然要受到输入时变化的制约。SPRU（英国布莱顿苏萨克斯大学的一个科技政策研究单位）的文献学专家本 · 马丁（Ben. Martin）指出：“没有人知道这些原始数据有多精确，但是按照某些人的观点看来，它们肯定不是完全准确无误的数据。”

当像马丁这样的专家们分析ISI的数据时，他们花了很大的力气除去了错误的引用。但是任何购买了ESI软件的人，现在都可以去研究该公司数据库中用以评估科研机构、院系和个人的信息。

尽管像ESI这样的软件产品可以使得非专业人士避免用期刊影响因子代替直接引用次数的错误，但是，许多专家们都担心这会使评估委员会增加引用率分析的权重。而且，对于非专业人士来说，通常无法认识到数据错误所引起的问题，这将会造成非常严重的后果。

琳达 · 巴特勒是澳大利亚国立大学文献学研究人员，她指出：“由这些软件产生的在科研院所或个人水平上的数据通常都是很“嘈杂”的，在其被决策者或者分析家合理使用之前，需要进行大量的清理工作。”她引用了一个非常极端的例子：沃尔特&伊丽莎医疗研究所[Walter and Eliza Hall Institute of Medical Research，WEHI]是位于皇家墨尔本医院内的一个重要的独立医疗研究机构。由于该医院的名字总是出现WEHI地址的同一行，所以在ESI的学科列表中，它拥有了本来是对于WEHI研究所的引用次数的70%的。

ISI在其产品的说明中对这些问题进行了说明，但是按照巴特勒的说法：“我的大量经验告诉我，那些研究人员们、分析家以及官员们从来都不会真正去了解这些软件产品所存在的纰漏和不足的，他们会直接去调用这些数据。”在发布“你自己做”这一引用率分析软件的同时，ISI对于那些想要使用其数据的独立研究小组采取了更为强硬的姿态。一位不愿透露姓名的文献学研究者宣称，购买ISI数据的费用从1995年以来已经上涨了将近4倍。

梯勃 · 布劳恩（Tibor Braun）是匈牙利布达佩斯罗朗德埃特瓦大学的化学家，也是《科学文献学》期刊的编辑，他把汤姆森公司收购ISI之前的时期称为ISI的“浪漫时期”。布劳恩认为，加菲尔德对于文献学研究的个人兴趣实际上就是让该领域的专家们可以自由的使用这些数据。对此，另外一个ISI的分析家大卫 · 彭德勃利（David Pendlebury）也颇为赞同：“他（加菲尔德）追求了很多没有重大商业价值或者可以降低成本的事情。因为他拥有这家公司，只对结果有兴趣。”

开发这一行业

布劳恩认为，一些研究人员用他们在加菲尔德时期所享有的自由，利用ISI的数据开发出了具有巨大利润的项目。他说：“他们看到有很多人都在使用他们的数据库，利用其中的信息制成产品然后销售。现在，ISI的新管理层也许已经用讲求实际的资本主义代替了过去的浪漫主义了，当然我们也不应当因此而谴责资本家。”

加菲尔德确认盗版ISI数据的现象是该公司的一个老问题了。他指出：“从一开始，就有一些人认为他们可以不花任何钱而且无限制的使用这些数据，更为糟糕的是那些政府官员们，他们想也不想的就跟ISI以外的其他公司签了约，用ISI的数据进行研究工作。

尽管ISI的商业战略可能是非常合理的，但是这却留下了这样一个问题，引用率分析对科学究竟是有益还是有害？引用率分析的支持者们认为，它为决策过程引入了客观的标准，否则决策时就会任人唯亲。反对者们则反驳说，这一过程中有如此多的差错和偏见，与其有还不如没有。

只要引用率分析仍然被用于科学评估，那么这一辩论就肯定还会继续下去——你可以拭目以待。

[Nature，2002年2月14日]