卡方检验详解
0次命中:为什么要叫“卡方”?因为原名是“chi-squared”,一半是音译,一半是意译。其中,chi 是希腊字母 的读音,其实卡方检验的条件如下:读音更像是“开”,而不是“卡”。square表示平方,因此在英语中,卡方分布写作 distribution。
卡方自由度比 卡方自由度比值大于5
卡方自由度比 卡方自由度比值大于5
如果一个随机变量 服从标准正态分布,即 ,那么 就服从自由度为1的卡方分布。记作 或者
而如果 都服从标准正态分布,那么它们的平方和服从自由度为 的卡方分布,记作:
或者写作 。
对于非负自变量 的自由度为 的卡方分布的概率密度函数 (简称"pdf"):
(1)为什么 非负?因为根据定义,卡方分布的自变量是一个平方和。
(3)卡方分布的均值为 ,而标准为 。
(4)自由度越大,该函数图像越对称。
(5)为什么这里 需要正态分布,我的理解是,如果零设为真,那么观测值和期望值之间的波动程度,应该是正态分布的,或者说“噪声”应该是正态分布的。
卡方检验有两个用途:
某说某个篮球明星的原地两连投的单次命中率是0.8,根据历次比赛的数据汇总得到下面的表格:
意思是说,在比赛中,有5次两连投是一次都没中,有82次是在两连投中命中1次。现在,我们来用卡方检验验证说的0.8的命中率是否正确。零设如下:
:两连投的成功次数符合二项分布,且概率为
(1)先根据零设计算“期望”的命中次数分布:
由于总的观察次数为 ,于是在 成立的前提下,可以计算每种两连投结果的期望次数:
1次命中:
2次命中:
显然,期望的观察次数和实际的观察次数是有偏的,那么问题在于这个偏是否大到具有统计显著性,进而可以否定零设。
(2)我们来构造卡方检验统计量(chi-square行X列表资料的卡方检验d test statistic):
其中 R 表示行数,C 表示列数。对于本例:
从另一个角度解释为什么 :前面的定义是如果是 个符合标准正态分布的 相加,则自由度是 ,但是这里自有两个格子可以自由变化,第三个格子可以用总观察数减出来,例如 。
好了,将格子的数据代入,求出检验统计量:
(3)根据自由度为2的卡方分布,找到检验统计量对应的位置:
不难理解,随着统计量增大,表示预期的分布和实际的分布的异也就越来越大。
另外,由于通常意义上,p值是越小越能推翻零设,那么显然我们需要用右侧的面积来表示p值,这里用Python计算来代替查表:
由于p值很小(设我们的显著性水平的0.05),那么我们可以推翻零设。
进一步的,我们来探索下,该运动员的两连投的成功次数分数是否真的符合二项分布。零设:
:两连投的成功次数符合二项分布。
既然符合二项分布,那么我们需要先估算一下最合理的 概率,那当然是用总命中数除以总投篮数来计算了:
然后,用该概率值重复之前的计算,也就是先计算出一个期望的表格:
注意,这里的 ,这是因为,我们每从数据估计一个参数,那么我们就损失一个自由度。这里用了一个平均命中的概率,因此自由度只有 。
这时候,在使用 Python 进行计算时,注意调整默认的自由度:
这里的 ddof 就是额外损失的自由度,本意是“delta degree of ”
输出:statistic: 0.34, pvalue: 0.56
可以看到p值很大,因此不足以推翻零设,也就是说该运动员的投篮命中次数可能真的是二项分布。
下面表格表示喝酒频率和与警察发生麻烦的频数。
以列为例,表示从不喝酒的人中,4992人不发生麻烦,71人会发生麻烦。
现在的问题是,能否从以下数据推断说喝酒频率和与警察发生麻烦这两个相互?
我们的零设应该如何设计?如果要说明两者相互,那么上表的分布应该满足乘法公式。也就是说两个一起发生的概率等于分别发生的概率之积。
不喝酒的总人数除以总人数
进一步,根据总人数算出不喝酒而发生麻烦的人数的期望(下标表示零设):
用类似的算法,计算每一个格子在零设成立的情况下的值,写在原表数据下的括号里:
仔细观察可以看出,其实每个格子就是对应的:
于是列的两个格子应该是:
对于其他格子、行的总和,都一样,这里不多说了。
好,继续分析。我们直接用上表计算卡方统计量和p值:
这部分计算方法和拟合优度是一样的,就不赘述了。计算发现这个p值非常小,接近0,因此我们可以推翻零设。也就是说,喝酒的频率和被警察找麻烦的并不是的,而是相关的。
关于性检验,有一个比卡方检验更精准的检验,叫 fisher's exact test。它通过直接计算否定零设的概率,也就直接得到了一个准确的p值。有一个经典的女士品茶的统计学故事。有一个女士号称可以区分出一杯茶是先倒入了奶还是先倒入了茶。统计学家 Fisher 为了验证她的说法,做了一个实验。拿了8杯茶,4杯是先茶后奶,4杯是先奶后茶。
实验结果是全部说对了。那么问题是,这是否具有统计显著性呢?比如说一个人猜对了一次硬,他的预测能力靠谱吗?
我们设女士的判断是完全随机的,这个是我们的零设。那么8杯里面抽中4杯全对的概率是:
如果显著性水平是0.01,那么我们不能推翻零设,即不敢确定这位女士真有这个识别能力。如果显著性水平定在0.05,则我们可以认为她确实有这个识别能力。
这个算起来比较麻烦,这里我写一个 python 脚本来计算:
这个p值就小得很夸张了,基本可以断定零设不成立了。
那么,回到实验本身,如果女士只选对了三杯,那么在零设的前提下,这个发生的概率是多少?
这个概率比较大了,原大于通常使用的显著性水平 0.05,因此我们没有办法推翻零设。为什么要这样 乘 呢?这个是因为一共有这么多种取法。你把所有可能的取法罗列处理,就是16种,然后除以总的取法数,就是随机取到这样结果的概率。
比较 Fisher's exact test 和 chi-squared test,可以 参考这篇文章 。
一般来说,两者都适用的情况下,应该优先选择 Fisher's exact test,因为它是值。如果实验观察的数量很小(小于10),应该不使用 chi-squared test。
下面使用一个脚本来计算:
卡方检验的F值是多少呢?
卡方分布的密度函数是概率统计学中常用的一种分布函数,用于描述随机变量服从卡方分布的概率情况。27.8
性检验 c临界值3.84的意义表示:如果卡方值>3.84,则纵列因素与横行因素不相关的的概念<0.05(即显著性水平),也即纵列因素与横行因素相关的概念>0.95。hi-squared test of independence分析过程如下:
45,27,72
最小理论频数是行最小×列最小;
故为71×56除以143=27.8。
行×列表资料的卡方检验用于多个率或多个构成比的比较。
1、专用公式:
r行c列表资料卡方检验的卡方值=n[(A11/n1n1+A12/n1n2+...+Arc/nrnc)-1]
2、应用条件:
要求每个格子中的理论频数T均大于5或1 9.49。计算自由度。在这个问题有5个分类项目,即比较5个分类项目的频数,但是在实际计算中,一个分类项的频数是由全部频数减去前面4个频数所得到的,因此实际上只有4个信息。所以计算这类检验的自由度公式是:df=n-1=5-1=4,所以自由度是4。查表可知,当自由度为4时,显著性水K^2 = n (ad - bc) ^ 2 / [(a+b)(c+d)(a+c)(b+d)]其中n=a+b+c+d为样本容量平慢跑 9.62 13.38 23位0.05,卡方临界值是9.49。 卡方分布一定满足期望E=n,方D=2n 即方一定是期望的2倍。 但是如果是自由度分比为n1和n2的两个相加,期望为n1+n2 但是方就不一定是2(n1+n2)了。 不满足这个2倍的关系,不一定是卡方分布了。 df为自由度,就是degreesof,简称df。卡方检验的自由度计算公式为(R-1)×(L-1),即(行-1)×(列-1)。 1、建立设,确定显著水平a与自由度df、查x2值表得到否定域的临界值。 2、由样本资料计算x2值。 3、将计算所得的x2值与临界x2值(负值都取)作比较,若计算值大于临界值,则否定Ⅱ0。反之,则承认Ⅱ0。 概念 卡方检验是一种用途很广的计数资料的设检验方法,由卡尔·皮尔逊提出。它属于非参数检验的范畴,主要是比较两个及两个以上样本率( 构成比)以及两个分类变量的关联性分析。其根本思想就是在于比较 理论频数和实际频数 的 吻合程度或拟合优度 问题。 例一 我们想知道喝牛奶对感冒发病率有没有影响,以下为数据统计的四格表: 通过简单的统计我们得出喝牛奶组和不喝牛奶组的感冒率为30.94%和25.00%,两(2)如果理论数T<5但T≥1,并且n≥40,用连续性校正的卡方进行检验。者的别可能是抽样误导致,也有可能是牛奶对感冒率真的有影响。 为了确定真实原因,我们先设喝牛奶对感冒发病率是没有影响的,即喝牛奶喝感冒时无关的,所以我们可以得出感冒的发病率实际是(43+28)/(43+28+96+84)= 28.29% 所以,理论的四格表应该如下表所示: 即下表: 如果喝牛奶喝感冒真的是无关的,那么四格表里的理论值和实际值别应该会很小。 那如何来描述这种别呢,我们定义卡方值为 其中,A为实际值,T为理论值。 x2用于衡量实际值与理论值的异程度(也就是卡方检验的核心思想),包含了以下两个信息: 卡方 = (43 - 39.3231)平方 / 39.3231 + (28 - 31.6848)平方 / 31.6848 + (96 - 99.6769)平方 / 99.6769 + (84 - 80.3152)平方 / 80.3152 = 1.077 卡方值(理论值与实际值异大小)的意义是什么呢?为此我们再引入一个概念: 上一步我们得到了卡方的值,但是如何通过卡方的值来判断喝牛奶和感冒是否真的是无关的?也就是说,怎么知道无关性设是否可靠? 是,通过查询卡方分布的临界值表。 行表示显著性水平α 列度 这里需要用到一个 自由度 的概念,自由度等于V = (行数 - 1) (列数 - 1),对四格表,自由度V = 1。 显然1.077<3.84,没有达到卡方分布的临界值,所以喝牛奶和感冒不相关的设没有被推翻。 简单说,如果我们计算出的卡方值(表示实际值与理论值的异,越大表示实际值与理论值越不符,即越有可能纵列因素会影响横行数值)大于临界值(列因素不影响横行值的范围:0~临界值),我们就排斥原设(H0,即纵列因素不影响横行的因素的变化),接受备择设(H1:纵列因素对横行的因素变化有影响);反之,卡方值小于临界值,即在(纵列与横行互不影响这一设)理论范围内,无法推翻原设,即无统计异。 一、卡方分布 卡方分布是指由n个的标准正态分布变量的平方和构成的随机变量的分布。它在统计推断中具有重要的应用,尤其用于检验拟合优度、方分析、建立置信区间等。 2.参数 二、密度函数 1.概念 卡方分布的密度函数描述了随机变量X在某一取值上的概率密度。 2.数学表达 卡方分布的密度函数可以表示为:f(x)=(1/(2^(v/2)Γ(v/2)x^((v/2)-1)e^(-x/2),其中Γ是伽马函数。 三、性质 1.非负性 卡方分布的密度函数对于所有的x都是非负的,即f(x)≥0。 2.归一化 卡方分布的密度函数经过归一化处理,即积分在整个定卡方拟合优度检验:除了用于比较两个或多个样本之间的异,卡方检验还可以用于拟合优度检验。拟合优度检验是将观察的频数与期望的频数进行比较,判断观察值是否符合某个理论模型的分布。义域上等于1,即∫[0,∞]f(x)dx=1。 3.峰度和偏度 卡方分布的峰度和偏度与自由度有关。对于自由度大于2的情况,卡方分布具有正偏(正态分布的扭曲向右,右偏)和正峰(比正态分布的峰更尖锐)。 四、应用 1扩展资料.拟合优度检验 卡方分布常用于拟合优度检验,通过比较观察值和理论预期值之间的异来评估数据是否与某种设模型拟合良好。 2.方分析 卡方分布也被广泛应用于方分析。它提供了一种衡量不同处理组之间异的统计指标。 3.置信区间 卡方分布还可用于构建参数的置信区间,以估计未知总体参数的范围。 总结: 卡方分布是一种常见的概率分布函数,其密度函数描述了卡方分布随机变量在各个取值上的概率密度。卡方分布在统计推断中具有广泛的应用,包括拟合优度检验、方分析和置信区间的构建等。了解卡方分布的密度函数及其性质,有助于更好地理解和应用统计学中相关的方法和概念。 卡方检验是一种用于统计推断的方法,常用于比较两个或更多样本或群体之间的异或相关性。它基于观察频数和期望频数的比较,判断异是否显著,从而得出结论。下面我将详细介绍卡方检验的条件、原理和相关扩展。 一、卡方检验的条件: 样本数据应为分类数据:卡方检验适用于分类数据,即数据被分成不同的类别或组别。例如,调查问卷中的选项是离散的类别,可以使用卡方检验来分常常把一个式子中析这些类别之间的关系。 样本数据应为观测:卡方检验要求观测值之间是相互的。如果观测值之间存在依赖关系,卡方验的结果可能失真。 样本数据应满足预期频数要求:卡方检验基于观察频数和期望频数的比较,期望频数是根据设的分布模型计算得到的。为了保证卡方检验的有效性,每个预期频数应大于等于5。 二、卡方检验的原理: 卡方检验基于卡方统计量的计算。它的步骤如下: 建立设:设立原设和备择设。原设是认为样本间没有异或关联,备择设是认为样本间存在异或关联。 计算卡方统计量:根据观察总数 69 96 165频数和期望频数计算卡方统计量。卡方统计量越大,说明观察值与期望值之间的异越大。 计算自由度:自由度是指可以自由变动的观测数据的个数。对于卡方检验,自由度的计算方法是自由度=(行数-1)×(列数-1)。 查表或计算P值:根据自由度和显著性水平,在卡方分布表中查找临界值,或通过计算得到P值。如果观察到的卡方统计量超过临界值或P值小于显著性水平,就拒绝原设,认为样本间存在异或关联。 三、相关扩展: 卡方检验的应用范围广泛:卡方检验适用于各种不同领域的研究,如医学、科学、市场调查等。它可以用于分析两个或多个分类变量之间的关系,检验样本分布是否符合期望分布,以及比较不同组别的异等。 卡方检验的改进方法:针对卡方检验的一些限制,研究人员提出了一些改进方法。例如,当样本数据中有小于5的预期频数时,可以使用修正的卡方检验或的卡方检验来解决。 总结起来,卡方检验是一种常用的统计方法,适用于比较分类数据之间的异或相关性。在进行卡方检验时,需要满足一定条件,并根据观察频数和期望频数计算卡方统计量。通过比较卡方统计量与临界值或计算得到的P值,可以得出结论。此外,卡方检验还有一些相关的扩展和改进方法,以适用于不同的研究场景。 卡方值(Wal87,56,143d)是卡方检验时计算出来的值,卡方检验用于进行两个率或两个构成比的比较。最简单和最典型的就是22列联表的卡方检设有两个分类变量X和Y,它们的值域分别为{x1, x2}和{y1, y2},其样本频数列联发生麻烦的总人数除以总人数表为:验. 自由度根据你的样本量来决定,自由度=(行数-1)(列数-1) 。自由度具体没有什么大的实际意义但是它有他的条件:如果是22列联表的卡方检验,要求样本含量应大于40且每个格子中的理论频数不应小于5。当样本含量大于40但理论频数有小于5的情况时卡方值需要校正,当样本含量小于40时只能用确切概率法计算概率。 这些统计量都是结构方程中用来检验你所建立的模型与数据的拟合程度的指标,称为拟合优度指数(goodness of fit index),简称为拟合指数。不同学者提出了许多不同的拟合指数。常用的指标一般是卡方,自由度df,RMSEA( Root Mean Square Error of Approximation, 近似误均方根)),GFI(goodness-of-fit index, 拟合优度指数), NNFI(non-normed fit index)和CFI(comparative fit index, 比较拟合指数)。一般认为,如果RMSEA在0.08以下(越小越好),GFI、NNFI和CFI在0.9以上(越大越好),所拟合的模型是一个“好”模型。AGFI(adjusted goodness-of-fit index),IFI也是越大越好,表明模型拟合的较好,不过现在不常用。卡方和自由度主要用于比较多个模型,卡方值越小越好,自由度反映了模型的复杂程度,模型越简单,自由度越多,反之,模型越复杂,自由度越少。总的来说,我们追求的是既简单又拟合得好的模型。 如果你要更详细的了解这些根据卡方检验公式我们可以得出例1的卡方值为:拟合指数,请参考侯杰泰等人的著作《结构方程模型及其应用》。 (2)这里的 是一个函数。关于这个函数具体是什么,以及上门的概率密度函数如何推导,这里不展开,只需要知道有这么个函数即可。实在是好奇的,可以 参考这里 。卡方检验 你的数据应该用交叉列联表做,数据录入格式为:建立两个变量,变量1是组别, 正常对照组用数据1表示,病例组用数据2表示;变量2是疗效等分类变量,用1表示分类属性1,用2表示分类属性2, 还有一个变量3是若四格表资料四个格子的频数分别为a,b,c,d,则四格表资料卡方检验的卡方值=(ad-bc)2n/(a+b)(c+d)(a+c)(b+d),权重,例数 数据录入完成后,先加权频数后点yze-descriptive statistics-crosstabs-把变量1选到rows里 然后点continue,再点ok,出来结果的第3个表就是你要的卡方检验,行个数是卡方值, 后面是自由度,然后是P值。自由度为4的卡方临界值
5.计算自由度=(行数-1)(列数-1)=2请问:卡方分布里两组非的向量相加,自由度要怎么求?
这个值是把表里每个格子的实际值和期望值进行对比。为什么要用平方?目的在于规避正负号的影响。为什么要除以期望值?目的在于消除数量的影响。例如你预算3块钱的水,商家加价50元,那么这个波动是你无法忍受的,而你预算20万的车,商家加价50元,则变得可以忍受。也就是说,除以期望值目的在于聚焦于变化率,而不是变化量。卡方检验df值怎么确定
4.接下来就是要计算,这个预期值和实际观测到的值之间的区别大不大?是只是因为随机抽样产生的误,还是具有统计学意义的显著性异?计算公式如下:卡方检验
另外可以看到,零设下的各个格子的行列之和与原来相同。这不是偶然的,我们用字母代替计算一下就知道了:卡方分布有什么特点?
扩展资料:卡方检验的条件
在理解卡方检验之前,应当理解卡方分布。卡方分布是一种连续概率分布。spss回归分析中 自由度,wald之类各有什么作用
在LISREL中RMSEA,GFI,AGFI,NFI,NNFI,CFI,IFI都是什么意思啊,请懂的人给予帮助啊!!
对照 22.58 31.42 54构成比的卡方检验怎么解释?
问题三:请问卡方检验中理论频数怎么算? 拿你的数据为例,理论频数T11=82100/200=41; T12=128100/200=64 以此类推