狮子座出生的人因胃出血而住院的几率比其他11个星座高15%;射手座的人手臂骨折的可能性也比别人高38%。这将是许多医学研究者根据多伦多临床评估科学协会的皮特·奥斯丁(Peter Austin)提供给美国科学促进会的一组资料而不得已推出的结论。如果他们照搬自己实验中不严谨的统计学方法,应用到奥斯丁提供的这组加拿大安大略湖医院入院记录上,就会出现这样的推论。
当然,奥斯丁医生本人并没有得出这些结论。他的原意是告诫医学研究者必须使用更可靠的统计方法,因为目前研究人员采用的统计方法得出的结论实际上并不可靠。他还希望借此说明为什么诸多健康主张乍看很有说服力,在后续研究中却难以站稳脚跟。
产生混乱的原因在于研究者通常对每一个实验结果进行单独检验,从而观察其在统计学角度偶然发生的几率。在统计学概念中,如果偶然误差低于一个限定数,通常设为5%,即认定统计得出的结论是“真实”有效的。这个结论在只有一种假说的情况下并无大碍,但是,如果同时测试20种假说,平均而言,其中1个要被认为是暂时性真理,即便它本身并非如此。
奥斯丁医生在寻找因星座而导致某种疾病的例证中测试了24种假说,每星座两种。有关狮子座肠胃疾病与射手座胳膊受伤的可能低于5%,因此假说符合效应关系成立的一般标准。但是,当他修改了他的统计方式以配合同时测验24种假说之后,所有跟星相有关的假说便不再成立。
然而许多查证疾病危险因素的科研人员在测试多种假说时并没想到需要修改统计方法。希腊约阿尼纳大学医学院的约翰·阿尼德士(John Ioannidis)在会上解释说,这种误差的后果是诸多同类实验不能在其他实验室里得到复制,原因鉴于综合观测健康研究就像鱼网一样滤过资料,而没有依赖可控的对比试验病例。
阿尼德士有6个受到高度引用的前期研究中,5个推论随后都被驳倒。在呈给会议的新研究中,他系统地检查了产生错误的原因,并证明了观察性研究的结果可能只有20%是完全正确的。以这种研究的统计方法测试多种假说,它的准确率有可能低于0.1%;相对具有更高效应的研究,其结果偏差更大。
因此,下次报纸再登出关于某类物质对你健康不利的头条大幅新闻时,请留心文中“小字”:如果科学家使用了错误的统计方法,你还不如干脆去相信星座吧。