漫步数理统计三十四——顺序统计量

本篇博文将定义顺序统计量并讨论这种统计量的一些简单性质。近些年来这种统计量在统计推断中占有重要角色，因为他们的某些性质不依赖于得到随意样本的分布。

X1,X2,…,Xn表示连续型分布中得到的随机样本，其pdf为f(x)支撑为=(a,b),−∞≤a<b≤∞，Y1是Xi中最小的，Y2是Xi次小值的，依次类推Yn是最大的，那么当X1,X2,…,Xn按大小增序排列时我们可以用Y1<Y2<⋯<Yn来表示，称Yi,i=1,2,…,n为随意样本X1,X2,…,Xn的第i个顺序统计量，Y1,Y2,…,Yn的联合pdf在下面定理中给出。

定理1：利用上面的符号，Y1<Y2<⋯<Yn表示随机样本X1,X2,…,Xn的n个顺序统计量，其中随机样本是从pdf为f(x)，支撑为(a,b)的连续型分布中得到的，那么Y1,Y2,…,Yn的联合pdf为

g (y 1, y 2, \dots, y n) = {n! f (y 1) f (y 2) \dots f (y n) 0 a < y 1 < y 2 < \dots < y n < b e l s e w h e r e

证明：注意到X1,X2,…,Xn的支撑映射到Y1,Y2,…,Yn的支撑(即{(y1,y2,…,yn):a<y1<y2<⋯<yn<b})上可以分布n!个互相不交的集合，这些n!个集合中有一个为a<x1<x2<⋯<xn<b且其他的是通过置换这n个x值得到的，变换x1=y1,x2=y2,…,xn=yn的雅可比等于1，其余的要么为1要么为-1，所以

g (y 1, y 2, \dots, y n) = \sum i = 1 n! | J i | f (y 1) f (y 2) \dots f (y n) = {n! f (y 1) f (y 2) \dots f (y n) 0 a < y 1 < y 2 < \dots < y n < b e l s e w h e r e

得证。||

例1：X表示pdf为f(x)的连续型随机变量，支撑为=(a,b),−∞≤a<b≤∞，X的分布函数F(x)可以写成

F (x) = \int x a f (w) d w, a < x < b

如果x≤a,F(x)=0；如果b≤x,F(x)=1，那么存在唯一的中值m使得F(m)=12，令X1,X2,X3表示该分布的随机样本且Y1<Y2<Y3表示样本的顺序统计量，我们想计算Y2≤m的概率，这三个顺序统计量的联合pdf为

g (y 1, y 2, y 3) = {6 f (y 1) f (y 2) f (y 3) 0 a < y 1 < y 2 < y 3 < b e l s e w h e r e

那么Y2的pdf为

h (y 2) = 6 f (y 2) \int b y 2 \int y 2 a f (y 1) f (y 3) d y 1 d y 3 = {6 f (y 2) F (y 2) [1 - F (y 2)] 0 a < y 2 < b e l s e w h e r e

故

P (Y 2 \leq m) = 6 \int m a {F (y 2) f (y 2) - [F (y 2)] 2 f (y 2)} d y 2 = 6 {[F (y 2)] 2 2 - [F (y 2)] 3 3} m a = 12

我们很容易看出

\int x a [F (w)] α - 1 f (w) d w = [F (x)] α α, α > 0

且

\int b y [1 - F (w)] β - 1 f (w) d w = [1 - F (y)] β β, β > 0

基于上面的讨论我们很容易得到任意顺序统计量的边缘pdf，假设为Yk,F(x),f(x)的形式，那么通过积分即可：

g k (y k) = \int y k a \dots \int y 2 a \int b y k \dots \int b y n - 1 n! f (y 1) f (y 2) \dots f (y n) d y n \dots d y k + 1 d y 1 \dots d y k - 1

得到的结果为

g k (y k) = {n! (k - 1)! (n - k)! [F (y k)] k - 1 [1 - F (y k)] n - k f (y k) 0 a < y k < b e l s e w h e r e

例2：Y1<Y2<Y3<Y4表示大小为4的随机样本的顺序统计量，随机样本是从pdf为

f (x) = {2 x 0 0 < x < 1 e l s e w h e r e

的分布中得到的，我们用f(x),F(x)表示Y3的pdf后就能计算P(12<Y3)，这里F(x)=x2，假设0<x<1，满足

g 3 (y 3) = {4! 2! 1! (y 23) 2 (1 - y 23) (2 y 3) 0 0 < y 3 < 1 e l s e w h e r e

因此

P (12 < Y 3) = \int \infty 1 / 2 g 3 (y 3) d y 3 = \int 1 1 / 2 24 (y 53 - y 73) d y 3 = 243256

最后考虑任意两个顺序统计量Yi<Yj的联合pdf，依然用f(x),F(x)的形式表示可得

g i j (y i, y j) = \int y i a \dots \int y 2 a \int y j y i \dots \int y j y j - 2 \int b y j \dots \int b y n - 1 n! f (y 1) \dots f (y n) d y n \dots d y j + 1 d y j - 1 \dots d y i + 1 d y 1 \dots d y i - 1

因为对于γ>0

\int y x [F (y) - F (w)] γ - 1 f (w) d w = - [F (y) - F (w)] γ γ | y x = [F (y) - F (x)] γ γ

所以

g i j (y i, y j) = ⎧ ⎩ ⎨ ⎪ ⎪ n! (i - 1)! (j - i - 1)! (n - j)! [F (y i)] i - 1 [F (y j) - F (y i)] j - i - 1 \times [1 - F (Y j)] n - j f (y i) f (y j) 0 a < y i < y j < b e l s e w h e r e

顺序统计量Y1,Y2,…,Yn的某些函数是非常重要的统计量，例如：(a)Yn−Y1为随机样本的全距；(b)(Y1+Yn)/2为随机样本的中距；(c)如果n为奇数，那么Y(n+1)/2称为随机样本的中位数。

例3：Y1,Y2,Y3是大小为3的随机样本，它是从pdf为

f (x) = {10 0 < x < 1 e l s e w h e r e

的分布中得到的，我们要找出全距Z1=Y3−Y1的pdf。因为F(x)=x,0<x<1，所以Y1,Y3的联合pdf为

g 13 (y 1, y 3) = {6 (y 3 0 y 1) 0 0 < y 1 < y 3 < 1 e l s e w h e r e

除了Z1=Y3−Y1，令Z2=Y3，函数z1=y3−y1,z2=y3的逆分别为y1=z2−z1,y3=z2，故该一对一变换的雅可比为

J = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ \partial y 1 \partial z 1 \partial y 3 \partial z 1 \partial y 1 \partial z 2 \partial y 3 \partial z 2 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = [- 1 0 11] = - 1

所以Z1,Z2的联合pdf为

h (z 1, z 2) = {| - 1 | 6 z 1 = 6 z 1 0 0 < z 1 < z 2 < 1 e l s e w h e r e

那么随机样本大小为3的全距Z1=Y3−Y1的pdf为

h 1 (z 1) = {\int 1 z 1 6 z 1 d z 2 = 6 z 1 (1 - z 1) 0 0 < z 1 < 1 e l s e w h e r e

X是连续cdf为F(x)的随机变量，对0<p<1，定义X的分位数为ξp=F−1(p)。例如ξ0.5,X的中位数为0.5分位数，令X1,X2,…,Xn是X分布的随机样本且Y1<Y2<⋯<Yn是对应的顺序统计量，令k=[p(n+1)]，接下来定义ξp的统计量，pdff(x)下面从左到Yk的面积为F(Yk)，这个面积的期望值为

E (F (Y k)) = \int b a F (y k) g k (y k) d y k

其中gk(yk)是前面定义的Yk的pdf，如果对积分部分进行变换替换z=F(yk)，那么得到

E (F (Y k)) = \int 10 n! (k - 1)! (n - k)! z k (1 - z) n - k d z

将其与贝塔分布的pdf进行比较可得

E (F (Y k)) = n! k! (n - k)! (k - 1)! (n - k)! (n + 1)! = k n + 1

平均来讲，Yk左边的面积为k/(n+1)，因为p=k/(n+1)，所以我们可以取Yk为分位数ξp的估计量。故我们称Yk为第p个样本分位数。

样本分位数是非常有用的统计量，例如如果Yk是第p个分位数，那么我们知道近似有p100%的数据小于等于Yk且近似有(1−p)100%的数据大于等于Yk，接下里讨论两个分位数的统计应用。

数据的五个数构成了下面的五个样本分位数：最小值(Y1)，四分之一分位数(Y0.25(n+1))，中位数(Y0.5(n+1))，四分之三分位数(Y0.75(n+1))，最大值(Yn)。注意我们给出的中位数是奇数的情况，如果是偶数，那么中位数与传统定义一样为(Yn/2+Yn/2+1)/2。接下里的我们用Q1,Q2,Q3分别表示样本的四分之一分位数，中位数，四分之三分位数。

这五个数将数据分开，使得数据更好理解。

例4：下面的数据是随机变量X大小为15的随机样本顺序观测值

因为n+1=16，所以五个数分别为y1=56,Q1=y4=94,Q2=y8=102,Q3=y12=108,y15=116。

这五个数是数据图像的基础，称为数据的盒图，盒子包含了中间50%的数据，线段用来表示中位数。然而顺序统计对离群点非常敏感，所以需要非常小心，为此我们将用box whisker图。为了定义这个图，我们需要定义潜在的离群点，令h=1.5(Q3−Q1)且定义lowerfence(LF)与upperfence(UF)为

L F = Q 1 - h, U F = Q 3 + h

位于区间(LF,UF)之外的点称为潜在离群点，在盒图中用0表示。

例5：考虑例4给出的数据，h=1.5(108−94)=21,LF=73,UF=129，这里观测值56,70为潜在的离群点，盒图如图1Panel A所示。

实际中，我们常假设数据服从某个分布，例如假设X1,…,Xn是正态分布的随机样本，分布的均值与方差未知，那么X的形式已知但参数未知，这样的假设需要进行验证并且存在许多统计测试方法。另一个分位数的应用就是诊断图。

我们考虑位置与尺度家族，假设X是cdf为f((x−a)/b)的随机变量，其中F(x)已知但a,b>0未知，令Z=(X−a)/b，那么Z的cdf为F(z)。令0<p<1,ξX,p是X的p分位数，ξZ,p是Z=(X−a)/b的p分位数，因为F(z)已知，所以ξZ,p已知，但是

p = P [X \leq ξ X, p] = P [Z \leq ξ X, p - a b]

由此得到线性关系

ξ X, p = b ξ Z, p + a

那么如果X有形如F((x−a)/b)形式的cdf，那么X的分位数是Z分位数的线性函数，当然在实际中我们不知道X的分位数，但是我们可以估计它们。令X1,…,Xn是X分布的随机样本且Y1<⋯<Yn是顺序统计量，对于k=1,…,n,pk=k/(n+1)，那么Yk是ξX,pk的一个估计量。相应的cdfF(z)分位数表示为ξZ,pk=F−1(pk)，Yk,ξZ,pk的图像成为q−q图，它描述的是样本的分位数集合与理论cdf为F(z)的分位数集合的关系。基于上面的讨论，图像中的线性就表明X的cdf的形式为F((x−a)/b)。

X是cdf为F(X)的随机变量，对于0<p<1，我们用ξp表示分位数，其中F(ξp)=p，对于X上大小为n的样本，Y1<Y2<⋯<Yn是顺序统计量，令k=[(n+1)p]，那么Yk是ξp的点估计。

我们现在推导ξp的分布自由置信区间，也就是说ξp的置信区间雨F(x)的任何假设无关，除了连续型外。令i<[(n+1)p]<j并考虑顺序统计量Yi<Yj与事件Yi<ξp<Yj，因为第i个统计量Yi小于ξp，所以至少有i个X值小于ξp，进一步因为第j个统计量Yj大于ξp，所有不到j个X值小于ξp，现在考虑二项分布的情况，成功的概率为P(X<ξp)=F(ξp)=p，进一步事件Yi<ξp<Yj等价于n个独立实验中i(包含)j(不包含)之间成功，因此

P (Y i < ξ p < Y j) = \sum w = i j - 1 (n w) p w (1 - p) n - w

是至少有i但不到j次成功的概率。当n,i,j都指定后，就能算出这个概率。假设找到了γ=P(Yi<ξp<Yj)，那么p分位数落在区间(Yi,Yj)之间的概率为γ。如果Yi,Yj的实验值为yi,yj，那么(yi,yj)为ξp100γ的置信区间。

注意由于二项分布的离散型，只存在某些置信水平。但是如果我们进一步假设f(x)关于ξ对称，那么离散就不是问题了。

漫步数理统计三十四——顺序统计量

相关推荐