老师课堂总结，请勿转载

高维正态随机变量的概率密度

协方差矩阵为学习高维连续变量模型的处理打开了一扇大门

1维正态随机变量的概率密度

n维正态随机变量的概率密度

马尔科夫不等式

如果X为非负的随机变量,那么

大数定理

大数定律有若干个表现形式,现列出常用的辛钦大数定理

辛钦大数定律

设是独立同分布的随机变量,记它们的公共均值为μ ,又设它们的方差存在并记为 , 作前n个变量的算术平均值 ,则对任意给定的ε>0 ,下列公式成立

将该公式应用于抽样调查，就会有如下结论：随着样本容量n的增加，样本平均数将接近于总体平均数。从而为统计推断中依据样本平均数估计总体平均数提供了理论依据

中心极限定理

中心极限定律是数理统计中大样本统计推断的基础

独立同分布的中心极限定理) 设随机变量 相互独立,服从同一分布,且具有数学期望和方差:

令

均值为μ方差为        的独立同分布随机变量的算数平均值,当n充分大时近似地服从均值为μ方差为 的正态分布

矩估计法

矩估计，即矩估计法,是利用样本矩来估计总体中相应的参数

矩估计法的基本步骤:

首先, 推导涉及感兴趣的参数的总体矩（即所考虑的随机变量的幂的期望值）的方程
然后, 取出一个样本并从这个样本估计总体矩
最后, 使用样本矩取代（未知的）总体矩，解出感兴趣的参数。从而得到那些参数的估计

example

最大似然估计法(MLE)

构造步骤

第一步 构造最大似然函数

第二步 在已有的n个采样基础，求取使得L(θ)最大的^θ