机器学习|统计三大分布(卡方分布、t分布、F分布)定义及基本性质|15mins入门|概统学习笔记（二十）

统计三大分布

1. $\chi^2$χ2分布

• 本质：$\chi^2$χ2分布是由正态分布派生出来的一种分布

• 定义：设$X_1,X_2,...,X_n$X1​,X2​,...,Xn​相互独立，都服从正态分布$N(0,1)$N(0,1)，则称随机变量:
  $\chi^2=X_1^2+X_2^2+···+X_n^2$χ2=X12​+X22​+⋅⋅⋅+Xn2​
  所服从的分布为自由度为n的$\chi^2$χ2分布。记为:$\chi^2$χ2~$\chi^2(n)$χ2(n)

  $\chi^2$χ2分布的密度函数为：
  $f(x;n)= \begin{cases} \frac{1}{2^{n/2}\Gamma(\frac{n}{2})}x^{\frac{n}{2}-1}exp(-\frac{x}{2}) & x>0 \\ 0 & 其他 \end{cases}$f(x;n)={2n/2Γ(2n​)1​x2n​−1exp(−2x​)0​x>0其他​
  

  其中，伽马函数$\Gamma(x)$Γ(x)通过积分
  $\Gamma(x)=\int_0^{\infty}exp(-t)t^{x-1}dt \quad x>0$Γ(x)=∫0∞​exp(−t)tx−1dtx>0
  $\Gamma$Γ函数的性质：
  $\Gamma(a+1)=a\Gamma(a) \\ \Gamma(1)=\Gamma(0)=1 \\ \Gamma(n+1)=n! \\ \Gamma(\frac{1}{2})=\sqrt(\pi)$Γ(a+1)=aΓ(a)Γ(1)=Γ(0)=1Γ(n+1)=n!Γ(21​)=(​π)

• $\chi^2$χ2分布性质

  1. 设$X_1,X_2,...,X_n$X1​,X2​,...,Xn​相互独立，都服从正态分布$N(\mu,\sigma^2)$N(μ,σ2)，则

     $\chi^2=\frac{1}{\sigma^2}\sum_{i=1}^n(X_i-\mu)^2$χ2=σ21​∑i=1n​(Xi​−μ)2~$\chi^2(n)$χ2(n)

  2. 设$X_1$X1​_{$\chi^2(n_1)$,$X_2$}$\chi^2(n_2)$χ2(n2​)，且$X_1$X1​,$X_2$X2​相互独立，则$X_1+X_2$X1​+X2​~$\chi^2(n_1+n_2)$χ2(n1​+n2​)

     这个性质叫$\chi^2$χ2分布的可加性

  3. 若$X$X~$\chi^2(n)$χ2(n)，则$E(X)=n, D(X)=2n$E(X)=n,D(X)=2n

     推论：应用中心极限定理得，若$X$X~$\chi^2(n)$χ2(n)，则当n充分大时，$\frac{X-n}{\sqrt{2n}}$2n​X−n​的分布近似正态分布$N(0,1)$N(0,1)

  4. $\chi^2$χ2分布的分位点：对于给定的正数$\alpha(0<\alpha<1),$α(0<α<1),称满足条件

  $P\{\chi^2>\chi_\alpha^2(n)\}=\int_{\chi_\alpha^2(n)}^{+\infty}f(y)dy=\alpha$P{χ2>χα2​(n)}=∫χα2​(n)+∞​f(y)dy=α

  ​ 的点$\chi_\alpha^2(n)$χα2​(n)为$\chi^2(n)$χ2(n)分布上的$\alpha$α分位点，$\alpha$α是概率

  

2. t分布（学生氏分布）

• 定义：设$X$X_$N(0,1)$,$Y$$\chi^2(n)$χ2(n)，且X与Y相互独立，则称变量$T=\frac{X}{\sqrt{Y/n}}$T=Y/n​X​所服从的分布为自由度为n的t分布。记为$T$T~$t(n)$t(n).

  $T$T的密度函数为：
  $f(x;n)=\frac{\Gamma(n+1)/2}{\Gamma(n/2)\sqrt{n\pi}}(1+\frac{x^2}{n})^{-\frac{n+1}{2}}$f(x;n)=Γ(n/2)nπ​Γ(n+1)/2​(1+nx2​)−2n+1​
  具有自由度为n的t分布的随机变量T的数学期望和方差为：
  $E(T)=0;D(T)=\frac{n}{n-2}, \quad(n>2)$E(T)=0;D(T)=n−2n​,(n>2)
  t分布的密度函数关于x=0对称，且
  $lim_{|x|\to \infty}f(x;n)=0$lim∣x∣→∞​f(x;n)=0
  当n充分大时，其图形类似于标准正态分布密度函数的图形。

​ 不难看出，当n充分大时，t分布近似$N(0,1)$N(0,1)分布。但对于较小的n，t分布与$N(0,1)$N(0,1)分布相差很大

• t分布的分位点

  对于给定的$\alpha(0<a<1)$α(0<a<1)，称满足条件
  $P\{t>t_\alpha(n)\}=\int_{t_\alpha(n)}^{+\infty}h(t)dt=\alpha$P{t>tα​(n)}=∫tα​(n)+∞​h(t)dt=α
  的点$t_\alpha(n)$tα​(n)为$t(n)$t(n)分布的上$\alpha$α分位点，$\alpha$α是概率。

由t分布上$\alpha$α分位点的定义及$h(t)$h(t)图像的对称性可知
$t_{1-\alpha}(n)=-t_{\alpha}(n)$t1−α​(n)=−tα​(n)

3.F分布

• 定义：设$X$X_{$\chi^2(n_1)$,$Y$}$\chi^2(n_2)$χ2(n2​)，X与Y相互独立，则称统计量$F=\frac{X/n_1}{Y/n_2}$F=Y/n2​X/n1​​，服从自由度为$n_1$n1​及$n_2$n2​的F分布，$n_1$n1​称为第一自由度，$n_2$n2​称为第二自由度，记作$F$F~$F(n_1,n_2)$F(n1​,n2​)

  由定义可见，$\frac{1}{F}=\frac{Y/n_2}{X/n_1}$F1​=X/n1​Y/n2​​~$F(n_2,n_1)$F(n2​,n1​)

  若X~$F(n_1,n_2)$F(n1​,n2​)，X的概率函数为
  $f(x;n_1,n_2)= \begin{cases} \frac{\Gamma(\frac{n_1+n_2}{2})}{\Gamma(\frac{n_1}{2})\Gamma(\frac{n_2}{2})}(\frac{n_1}{n_2})(\frac{n_1}{n_2}x)^{\frac{n_1}{2}-1}(1+\frac{n_1}{n_2}x)^{-\frac{n_1+n_2}{2}} & x\geq 0 \\ 0 & x<0 \end{cases}$f(x;n1​,n2​)={Γ(2n1​​)Γ(2n2​​)Γ(2n1​+n2​​)​(n2​n1​​)(n2​n1​​x)2n1​​−1(1+n2​n1​​x)−2n1​+n2​​0​x≥0x<0​
  X的数学期望为
  $E(X)=\frac{n_2}{n_2-2} \quad 若n_2>2$E(X)=n2​−2n2​​若n2​>2
  即它的数学期望并不依赖于第一自由度$n_1$n1​.

  

  若随机变量X服从分布$F(n,n)$F(n,n)，则

$P\{X\leq1\}=P\{X\geq 1\}=0.5$P{X≤1}=P{X≥1}=0.5

• F分布的分位点

  对于给定的$\alpha(0<\alpha<1)$α(0<α<1)，称满足条件
  $P\{F>F_\alpha(n_1,n_2)\}=\int_{F_{\alpha}(n_1,n_2)}^{+\infty}h(t)dt=\alpha$P{F>Fα​(n1​,n2​)}=∫Fα​(n1​,n2​)+∞​h(t)dt=α
  的点$F_\alpha(n_1,n_2)$Fα​(n1​,n2​)为$F(n_1,n_2)$F(n1​,n2​)分布的上$\alpha$α分位点，$\alpha$α是概率

关于F分布的上$\alpha$α分位点的性质：
$F_{1-\alpha}(n_1,n_2)=\frac{1}{F_\alpha(n_2,n_1)}$F1−α​(n1​,n2​)=Fα​(n2​,n1​)1​