多维随机变量及其分布

在机器学习中，输入样本的特征基本都是多维的，因此需要学习和研究多维随机变量及其分布就显得很有必要了。

一、二维随机变量

1、二维随机向量（二维随机变量）

• 随机试验E的样本空间为S，定义在S上的两个随机变量X=X(e)和Y=Y(e)构成了一个向量（X,Y），叫做二维随机向量或二维随机变量。
• F(X,Y)为随机变量(X,Y)的分布函数，也称为随机变量X和Y的联合分布函数。

      

• 离散型的随机变量（X,Y）的分布律也叫随机变量X,Y的联合分布律。
• 连续型的二维随机变量有概率密度f(x,y)，也叫随机变量的联合概率密度，分布函数就叫联合分布函数。
• 扩展到n维。

二、边缘分布

1、边缘分布函数

二维随机变量（X,Y）作为一个整体，具有分布函数F(X,Y)，而X和Y都是随机变量，各自也有分布函数，将它们分别记为Fx(x)， Fy(y)，依次称为二维随机变量关于X和关于Y的边缘分布函数。

2、边缘分布律

对于离散型随机变量的边缘分布函数有着边缘分布律；

3、边缘分布概率

对于连续性随机变量的边缘分布函数有着边缘分布概率；

两个独立的一维正态分布组成二维正态分布。

 

三、条件分布

1、条件概率：事件A发生的情况下，事件B发生的概率，记为P(B|A)。

2、多维随机变量情况下的条件分布（一）：

• 离散型的：
• 二维的：
• 条件分布律：

3、多维随机变量情况下的条件分布（二）：

• 连续型的：
• 多维的：
• 条件分布律：

 

四、相互独立的随机变量

在前面学习条件概率的时候提出了事件之间的独立性，如果事件A的发生对于事件B的发生是没有造成影响的，即P(B)=P(B|A)，则称事件A和事件B是相互独立的事件。

1、二维随机变量的相互独立性：

 

2、n维随机变量的相互独立性：

• 定义：

• 定理

 

五、两个随机变量的函数分布

在学习了一个随机变量的函数分布之后，下面学习和讨论两个随机变量的函数分布。

随机变量的函数就是从一个随机变量的函数推出另外了的随机变量函数分布。

1、Z=X+Y的分布

• 二维
• 连续性
• 定义：

推广：有限个相互独立的正态随机变量的线性组合仍然服从正态分布；

2、Z=Y/X的分布、Z=XY的分布

3、M=max{X,Y}及N=min{X,Y}的分布