统计假设检验的模糊集描述

章秋香,魏立力

(宁夏大学 数学统计学院,宁夏 银川 750021)

假设检验是统计推断的重要形式之一.最常见的应用场景是首先对待研究的总体提出一个被称为零假设的陈述,该假设通常表示处理与对照的差异是由随机抽样导致的虚假差异,不是总体有真正差异;然后根据样本数据与事先给定的显著性水平做出拒绝或不拒绝零假设的判断,此时称为零假设显著性检验(Null hypothesis significance test,NHST).NHST是科学研究中的主要统计工具之一,它通过将p值与预先指定的显著性水平进行比较从而检验是否可以根据观测数据拒绝或不拒绝零假设.尽管NHST在过去几十年里受到来自多方面的批评,但仍应用至今.p值仍是NHST的最重要的标准输出之一,其解释和理解显得尤为重要.NHST方法在心理学、生物医学、社会经济和工程技术等诸多领域都有广泛应用,通常NHST检验过程都输出一个p值来表征一个零假设的统计显著性,p值越小,认为零假设越不可靠,说明处理和对照的差异越显著.因此众多科研人员将p值当作度量统计差异的“黄金准则”.然而由于假设检验的证伪逻辑特性,在具体应用中滥用和误解p值的现象比较普遍.在过去的几十年里,关于统计显著性和检验p值一直受到众多学者的批评[1-3],为此美国统计学会(American statistical association,ASA)发表了一个关于统计显著性和p值的6项官方声明[4],该声明在统计学及其应用领域产生了重大影响[5].

在实际应用中,大多数研究者将p值小于0.05作为“显著性”的依据,这种武断的二值决策方案并未给出零假设是否成立的精细程度化描述.这是造成对NHST结果产生误解的根源之一,为了做出科学的决策,需要对有关样本数据与零假设的不一致性程度进行量化表示,体现基于数据的程度化思想.而模糊集的隶属度函数可以达到这一目的,在模糊集理论的框架下对NHST的结果进行解释,一方面为模糊集理论提供了实际背景,扩展了模糊集在统计学中的应用;另一方面给出了p值一个新的解释.为此本文提出了统计假设检验法则的模糊集描述,旨在用模糊集及其截集重新刻画假设检验,树立程度化思想,契合人脑智能特征,为假设检验结论的理解和解释提供一个新的视角.

1 假设检验的p值

通常零假设记为H0,与之对立的陈述称为研究假设或备择假设记为H1.对于参数假设检验问题而言,未知参数θ的取值范围Θ是明确的,Θ就是参数空间,并且假设Θ可分为不相交的2部分Θ0和Θ1.H0表示假设θ∈Θ0,H1表示假设θ∈Θ1,显然H0和H1有且只有一个正确.

由于样本的随机性,一个检验可能犯2类错误.当零假设为真而拒绝零假设时,就犯了第一类错误;当零假设不真而没有拒绝零假设时,就犯了第二类错误.为了降低第一类错误,往往会倾向于不拒绝零假设,除非存在有力的证据证明零假设是错误的.对于样本数据(证据)而言,对零假设的支持程度需要有一个度量,若样本数据对零假设支持度很高(对备择假设支持程度很低),则有理由接受零假设;反之,若样本数据对零假设支持度很低(对备择假设支持程度很高),则有理由拒绝零假设;当支持程度不高不低时,往往难以明确做出接受或拒绝零假设的决定.

通常NHST的报告结果是所谓的p值,用于样本数据与零假设之间不一致性的度量.很多学者对p值的定义及其功能进行了研究[6-9].ASA的声明中给出的p值非正式定义是[4],p值就是基于某个特定统计模型之下,对于样本的某个统计汇总(如2个对照组的样本平均值之差)与实际观测值相等或更极端的概率.这表明p值有2个要素:样本观测值和假设分布.先用样本观测值计算检验统计量的值,再由假设分布计算和确定相应的p值.为此,下面引入p值函数的概念.

定义1设样本X来自参数为θ∈Θ的总体,T(X)是一个检验统计量,不妨设T(X)的值越大对H0越不利,则对于样本观测值x,该检验的p值函数为

p(x,θ)=Pθ{T(X)≥T(x)}.

(1)

显然p值函数是观测值与参数的二元函数,它记录了所有可能的p值.对于给定的参数,p值函数记录了观测数据相对于该参数的统计位置;对于给定的观测值,它记录了不同参数对应的分布与该观测值的不一致性程度.p值函数为感兴趣的参数提供了可视化的信息.需要注意的是,这里的p值函数不需要与特定的零假设相关联,更不是零假设为真的概率.

2 假设检验的模糊集描述

2.1 模糊集和模糊关系

模糊集合是经典集合的推广,由ZADEH创立[10],它利用隶属度函数反映一个元素属于集合的程度.

定义2[10]设U是论域,U到区间[0,1]的一个映射A称为U上的一个模糊集,即

A∶U→[0,1],uA(u).

定义3[11]设U、V是2个论域,U×V上的模糊集R称为U到V的模糊关系,即

R∶U×V→[0,1],(u,v)R(u,v).

R(u,v)表示u与v具有关系R的程度,又称映射

是从U到V的模糊映射.

在纯数学领域,模糊集合的研究不需要对隶属函数的值进行精确的解释,但是在应用领域,就必须考虑隶属函数值的真实含义,否则不仅隶属函数本身是任意的,而且得到的所有规则和结论都是不合理的[12].统计假设检验的模糊集描述可以看作模糊集理论的应用,所构造的隶属度函数表示样本值与零假设的吻合程度,并有明确的似然解释.

2.2 检验的模糊集描述

(2)

称为对应检验的模糊集描述.

由定义可知,pΘ0是模糊关系p(x,θ)在θ∈Θ0处截影pθ的并集,表示不同样本值对零假设的最大信任度,是“样本值与零假设吻合程度”的隶属度函数,可以作为基于观测值x对θ∈Θ0的可信程度的度量.可见,检验的模糊集描述体现了零假设在现有样本值条件下是否为真的程度化思想,而且可以方便地表示经典假设检验的基本概念.

定理1对于给定的假设检验问题H0∶θ∈Θ0↔H1∶θ∈Θ1和给定的0<α<1,

(3)

是水平α检验的拒绝域.

为了证明定理1,先引入如下结论.

引理1设F(x)是随机变量X的累积分布函数,令Y=F(X),则对任意的0

证明对于0

P{Y≤y}=P{F(X)≤y}=P{X∈Ay}=F(xy)≤y.

当Ay=(-∞,xy)时,

对任意的δ>0,xy-δ∈Ay,因而

P{X≤xy-δ}=F(xy-δ)≤y,

所以

综上,引理得证.

Pθ{pΘ0(X)≤α}≤α,∀θ∈Θ0.

对于固定的θ∈Θ0,设Fθ(t)表示-T(X)的累积分布函数,则

p(x,θ)=Pθ{T(X)≥T(x)}=Pθ{-T(X)≤-T(x)}=Fθ(-T(x)).

于是p(X,θ)=Fθ(-T(X)),对∀0<α<1,由引理1可知

Pθ{p(X,θ)≤α}=Pθ{Fθ(-T(X))≤α}≤α,

又

{pΘ0(X)≤α}⊆{p(X,θ)≤α},∀θ∈Θ0,

因此Pθ{pΘ0(X)≤α}≤α.定理1得证.

定理2pΘ0(x)=inf{α∈[0,1]|pΘ0(x)≤α}.

定理2显然成立,它表明pΘ0(x)为给定样本值x时,检验做出拒绝零假设的最小显著性水平.

证明由于

故(1)成立.又

故(2)成立.

定理3表明假设H0∶θ∈Θ0↔H1∶θ∈Θ1的α水平检验的接受域等于截影pθ的α强截集的并;截影pθ的α截集的并包含于检验模糊集描述的α截集.

证明g(θ)=Pθ{X∈W}=Pθ{T(X)≥T(x)}=p(x,θ)=px(θ).

推论对于拒绝域为W={T(X)≥T(x0)}的检验,犯第一类错误的概率为α(θ)=px(θ),θ∈Θ0;犯第二类错误的概率为β(θ)=1-px(θ),θ∈Θ1.

2.3 数值计算

例1假设总体X服从伯努利分布,参数为θ,X1,X2,…,X20是来自该总体的20个样本,考虑如下假设检验问题,

H0∶θ≤0.3↔H1∶θ>0.3.

pΘ0(t)表示观测值t对零假设的支持程度.特别是,当观测值为0时,对零假设为真的隶属度为1,完全可以接受零假设;当观测值为4时,样本对零假设的支持程度为0.8929;当观测值为10时,样本对零假设的接受程度只有0.048,对零假设为真的隶属度为0.048,非隶属度为0.952,因此可以不认为零假设为真;当观测值大于等于14时,隶属度接近零,完全可以拒绝零假设.根据隶属度函数pΘ0的表达式及以上分析结果可知,观测值越大,对零假设为真的隶属度越小,越能拒绝零假设.图1是这一结论的直观表示.

图1 例1中模糊集描述的隶属度函数

表1 例1中显著性水平、检验的拒绝域及其最小显著性水平

例2设X1,X2,…,X36是来自正态分布N(θ,3.62)的样本,考虑如下假设检验问题,

H0∶θ=68↔H1∶θ≠68.

图2 例2中模糊集描述的隶属度函数

与例1相同,该隶属度函数pΘ0(t)的α强截集的补集可以解释为给定显著性水平α条件下检验的拒绝域.由于pΘ0(t)是连续函数,因此其截集与截水平一一对应,此时显著性水平与检验的拒绝域也是一一对应的关系.因此最小显著性水平就是拒绝域所对应截集的截水平.特别是,当α=0.05时,由定理2可知拒绝域为

该拒绝域有唯一的显著性水平0.05.

以上例子是单样本的离散和连续情形,下面考虑双样本检验.

H0∶μ1-μ2≥0↔H1∶μ1-μ2<0.

其中t(n+m-2)是自由度为n+m-2的t分布随机变量.

图3 例3中模糊集描述的隶属度函数

与例2相同,由于pΘ0(t)的截集与截水平一一对应,此时显著性水平与检验的拒绝域也是一一对应的关系.特别是,当α=0.05时,由定理2知拒绝域为

该拒绝域有唯一的显著性水平0.05.

3 结语

本文将p值函数作为样本观测值到参数空间的模糊关系,以模糊关系的投影构造了样本空间上的模糊集,描述了样本值对零假设的隶属度,定量刻画了样本观测值对零假设的支持程度.在模糊集的框架中,强截集的补集表示检验的拒绝域,截集的水平就是检验的显著性水平,这为模糊集的隶属度函数提供了似然解释.最后单样本的离散和连续情形和双样本假设检验问题的例子说明了本文方法的有效性.