阅读后思考:非参数检验的适用条件?参数检验的适用条件?
对比两种检验的适用条件。
非参数检验方法只是参数检验方法的备胎吗?
来源:微信公众号小白学统计
大家都很喜欢参数检验,常见的t检验、方差分析等等,用的非常多。同时,很多人都看不起非参数检验,觉得它好像不够正式,只是参数检验的替代品,实在用不了参数检验的时候,才会想起非参数检验。非参数检验的效率很低吗?只能是迫不得已才用吗?本文从非参数检验的历史开始,就此做一些简单梳理。
早在20世纪40年代之前,大家从来没听说过什么叫非参数检验。那时候如果说t检验和方差分析一统天下,大概没人反驳。可是,即使t检验和方差分析往往也有无能为力的时候,一位名字叫做Wilcoxon的化学家就发现了这一问题。

Wilcoxon发现,他在组间比较的时候,明明看起来差异都很明显了,可是用t检验和方差分析就是做不出统计学差异,很让人崩溃的一件事。Wilcoxon没有办法,当时没有Email,也没有手机,没办法联系其它统计学家咨询,只好自己仔细仔细对照t检验和方差分析的公式,一遍遍地检查,为什么?为什么?

经过很让人煎熬的检查后,他突然豁然开朗,原来是因为他的实验结果中有一些很大或很小的异常值,从而导致t检验和方差分析失效。这时候他第一个想法当然就是:剔除异常值。但是这又带来新的问题,该剔除多少个呢?大到多少才算异常值呢?如果剔除了异常值,所得的结果还能代表实验结果吗?
这些问题对于一个化学家来说,真的太难了。Wilcoxon的头都大了,那怎么办呢,总得解决问题啊。于是他想了个办法,自己先根据排列组合方法想了一种解决方案,然后把这个方案投稿到统计学杂志。在他的想法中,这个问题统计学家肯定都想到了,他把这个方法投到统计学杂志,不是为了发表,而是为了让统计学家帮忙指出一些修改意见(其实这种办法现在我们依然在用,不知道自己文章写得怎么样,不要紧,随便写好,然后投出去,根据编辑意见修改,再投,再改)。
结果出乎意料,竟然没有一个统计学家想到过这个问题。于是,Wilcoxon,作为一个化学家,竟然一不小心就发明了一种统计方法(为什么是一个化学家?)。由此拉开了非参数检验的序幕。
差不多的时间,不同的空间,Mann和Whitney也发明了一种跟Wilcoxon差不多的方法。虽然这一方法比Wilcoxon晚了2年,但考虑到当时交通和信息的不发达,他们的结果竟然是惊人的一致,充分说明,科学家的思维总是有一致性。再后来,各种非参数检验的方法如雨后春笋般层出不穷,于是有了我们今天课本上的各种方法。
说了这么长的历史,那么,到底什么是参数?为什么要有非参数?我们仔细想想t检验,计算了2组的均值,比较均值大小,均值就是参数。再想想秩和检验,我们没有计算均值,也没有算中位数,其实我们什么都没有计算,就是把数据排了排序,根据秩次来做结论。不像t检验,有明确的两个均值,两个均值之差反应差别大小。大家可以仔细体会一下。一定要仔细体会。很多情况下,统计学的理解,就差一层窗户纸,有时解释多了未必是好事,说到点子上,你自己再去仔细理解一下。
再举个通俗例子,参数检验就像有特定形状,如三角形、圆形、矩形,如果你要计算面积,只要知道角度、半径、边长,就可以计算相应的面积,这就是参数。而非参数就像是不规则形状,你要计算面积的话,没有什么半径、边长什么的,没法计算。
多数人都更喜欢参数检验,而对非参数检验存有歧视,总觉得他好像只是一个杂志的增刊,不够正式。但早在上世纪40年代的时候,皮特曼就发表了一篇文章,建立起有关参数与非参数方法的关系逻辑。他非常惊讶的发现,即使数据符合正态分布,非参数检验的结果也几乎和参数检验一样的完美。现在有人统计模拟发现,这种情况下,大概非参数检验的效率是参数检验的95%。而一旦数据稍微偏离参数模型,非参数检验的结果将远远优于参数检验。
听起来很令人惊讶是吗?很多事情其实都不是像我们想象的那样令人一目了然。一般人的眼里,似乎参数检验是正式的,非参数检验只是备胎,但实际情形却并非如此。很多我们想当然的结果并不一定是真相,有可能只是我们的想象而已,就像当年亚里士多德所说的“重的物体理所当然比轻的下落的更快”。所以我们对任何事情,一定要有自己的主见,而不要凭想当然来判断。

