中心极限定理 与 正态分布

学习中心极限定理，学习正态分布，学习最大似然估计

最优化理论及方法

高等数学

统计学

概率论

参数估计

正态分布与中心极限定理(中心极限定理是正态分布的一个前置知识)

• 如果误差可以看作许多微小量的叠加，则根据中心极限定理(用样本的平均值估计总体的期望)，随机误差理所当然服从正态分布；

• 假设一随机变量X服从一个期望和方差分别为
  $\mu{和}\sigma^2$μ和σ2
  的正态分布，概率密度函数为
  $f(x)=\frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right)$f(x)=2π​σ1​exp(−2σ2(x−μ)2​)
  则可以记为
  $X \sim N(\mu, \sigma^2)$X∼N(μ,σ2)
  图例表示
  

• 正态分布为何如此常见？其真正原因是中心极限定理 (Central Limit theorem)，如果一个事物受到多种因素的影响，无论每个因素本身服从什么分布，这些因素加总后，结果的平均值就是正态分布；

• 正态分布值适合于各种因素叠加的情况，如果这些因素不是彼此独立的，会相互加强影响，则就不会服从正态分布。如果各种因素对结果的影响不是相加，而是相乘，则最终结果将会是对数正态分布.

最大似然估计与贝叶斯推理 (新增专题 · 待完善)

• 参数的意义

最大似然估计的直观解释

• 最大似然估计的计算

MLE

• 对数似然估计

最大似然估计是否总能得到精确解？

• 为何称作“ 『最大似然』or 『最大可能』”，而不是『最大概率』?

最小二乘参数估计和最大似然估计的结果相同的条件是什么？

• 贝叶斯定理
  • 定义
  • 举例
• 为何贝叶斯定理能结合先验概率？
• 贝叶斯推理

定义

• 使用贝叶斯定理处理数据分布
• 贝叶斯定理的模型形式
• 贝叶斯推断示例
• 何时 最大后验概率 (Maximum A Posteriori) MAP 估计 与 最大似然 (Maxmium Likelihood Estimation MLE) 估计相等？