混合高斯模型
单高斯模型
当样本数据Ｘ是一维数据时，高斯分布（正态分布）服从下方概率密度函数，可以用于描述一种数据分布情况。
当样本是多维时，概率密度函数如下：
应用原因
对于一个分布由Ｋ个簇组成，使用单独的高斯分布很难描述数据的分布情况（如下图所示），这时可通过混合模型来描述。将多个高斯模型按照一定的权重混合为一个模型。
模型变量
高斯混合模型中所涉及的变量包括：混合模型的数量Ｋ，每个模型对应的分布（μi，δi），及其对应的权值αi。
混合模型的概率分布为：
其中ｔｈｅｔａ＝（μ，δ，α）
模型训练
对于单高斯模型可通过最大似然训练，对于混合模型需要通过ＥＭ（期望最大化）迭代训练。
每次迭代包括：Ｅ和Ｍ两步。
Ｅ:根据初始化模型参数计算所有点属于各个模型的概率
Ｍ：根据所有点计算的概率，利用期望和方差的概念更新模型参数
迭代训练多次知道模型参数不再发生变化。
缺点
需要预先设置模型数量Ｋ