机器学习|数学期望（随机变量、随机变量函数）+k阶原点矩、中心矩|15mins入门|概统学习笔记（八）

数学期望

1.随机变量的数学期望

• 背景：如果知道了随机变量X的概率分布，那么X的全部概率特征也就都知道了，但是在实际问题中，概率分布一般是比较难确定的，因此人们并不需要知道随机变量的一切概率性质，只要知道它的某些数字特征（期望和方差）就够了。

• 离散型随机变量的数学期望

  设X是离散型随机变量，它的概率函数是$P(X=X_k)=p_k,\space k=1,2,...$P(X=Xk​)=pk​, k=1,2,...

  如果$\sum_{k=1}^\infty|x_k|p_k$∑k=1∞​∣xk​∣pk​有限，定义X的数学期望为：
  $E(X)=\sum^\infty_{k=1}x_kp_k$E(X)=k=1∑∞​xk​pk​
  也就是说，离散型随机变量的数学期望是一个绝对收敛的级数的和

• 连续型随机变量的数学期望

  设X是连续型随机变量，其密度函数为$f(x)$f(x)，在数轴上取很密的分点$x_0<x_1<x_2<...,$x0​<x1​<x2​<...,则X落在小区间$[x_i,x_{i+1}$[xi​,xi+1​的概率是
  $\int_{x_i}^{x_{i+1}}f(x)dx \approx f(x_i)(x_{i+1}-x_i)=f(x_i)\Delta x_i$∫xi​xi+1​​f(x)dx≈f(xi​)(xi+1​−xi​)=f(xi​)Δxi​

​ 如果$\int_{-\infty}^\infty|x|f(x)dx$∫−∞∞​∣x∣f(x)dx有限，定义X的数学期望为：
$E(X)=\int_{-\infty}^\infty xf(x)dx$E(X)=∫−∞∞​xf(x)dx
​ 也就是说，连续型随机变量的数学期望是一个绝对收敛的积分

• 由随机变量数学期望的定义，不难计算得：

  • 若X服从参数为$\lambda$λ的泊松分布，则
    $E(X)=\lambda$E(X)=λ

  • 若$X$X~$U(a,b)$U(a,b),即X服从(a,b)上的均匀分布，则
    $E(X) = \frac{a+b}{2}$E(X)=2a+b​

  • 若X服从$N(\mu,\sigma^2)$N(μ,σ2)，则
    $E(X)=\mu$E(X)=μ

2.随机变量函数的数学期望

• 背景：设已知随机变量X的分布，需要计算的不是X的期望，而是X的某个函数的期望，比如说是g(X)的期望，该如何计算呢？

  因为$g(X)$g(X)也是随机变量，故应有概率分布，它的分布可以由已知的X的分布求出来，一旦知道了$g(X)$g(X)的分布，就可以按照期望的定义把$E[g(X)]$E[g(X)]计算出来，但是这种方法一般比较复杂。

• 引入$E(X)$E(X)的推理，可得如下的基本公式：

  设X是一个随机变量，$Y=g(X)$Y=g(X),则
  $E(Y)=E[g(X)]= \begin{cases} \sum_{k=1}^\infty g(x_k)p_k,\quad X为离散型 \\ \int_{-\infty}^\infty g(x)f(x)dx,\quad X为连续型 \end{cases}$E(Y)=E[g(X)]={∑k=1∞​g(xk​)pk​,X为离散型∫−∞∞​g(x)f(x)dx,X为连续型​
  当X为离散型时，$P(X=x_k)=p_k$P(X=xk​)=pk​

  当X为连续型时，X的密度函数为$f(x)$f(x)

  因此，求 $E[g(X)]$E[g(X)]时，就不必知道$g(X)$g(X)的分布，而只需知道X的分布就可以计算$g(X)$g(X)的数学期望

• 将$g(X)$g(X)特殊化，可得到各种数字特征：

  • k阶原点矩 $E(X^k)$E(Xk)
  • k阶中心距 $E([X-E(X)]^k)$E([X−E(X)]k)
  • k阶绝对原点矩 $E(|X|^k)$E(∣X∣k)
  • k阶绝对中心矩 $E(|X-E(X)|^k)$E(∣X−E(X)∣k)

  其中k是正整数。

3.数学期望的性质

1. 设C是常数，则$E(C)=C$E(C)=C

2. 若k是常数，则$E(kX)=kE(X)$E(kX)=kE(X)

3. $E(X_1+X_2)=E(X_1)+E(X_2)$E(X1​+X2​)=E(X1​)+E(X2​)

   推广：$E[\sum_{i=1}^nX_i]=\sum_{i=1}^nE(X_i)$E[∑i=1n​Xi​]=∑i=1n​E(Xi​)

4. 设X、Y独立，则$E(XY)=E(X)E(Y)$E(XY)=E(X)E(Y)，反过来不一定成立

   推广：$E[\prod_{i=1}^nX_i]=\prod_{i=1}^nE(X_i)(诸X_i独立时)$E[∏i=1n​Xi​]=∏i=1n​E(Xi​)(诸Xi​独立时)