概率图模型

PGM又叫GM图模型；

PGM概率图模型是用图结构来描述多元随机变量之间条件独立关系的概率模型。图结构可以将概率模型的结构可视化，以一种直观、简单方式描述随机变量之间的条件独立性的性质，并可以将一个复杂的概率模型分解为几个简单的模型的俄组合。将学习任务归结于计算输入和输出之间的条件概率分布。因此图模型提供了一种新的角度来解释机器学习模型。一个图由节点和节点之间的边组成。在概率图模型中，每一个节点都表示一个随机变量（或一组随机变量），边表示这些随机变量之间的概率依赖关系。

概率图模型可以分为两类：有向图模型和无向图模型。有向图模型也叫做贝叶斯网络，为有向非循环图，边的方向代表了因果关系。无向图模型，也叫做马尔可夫随机场，每条边代表来两个变量之间有概率依赖关系，但是并不表明任何因果关系

1：贝叶斯网络

贝叶斯网络又叫信念网络又叫有向图模型

2：常用的贝叶斯模型

很多机器学习模型都可以看作贝叶斯网络，比如朴素贝叶斯模型、隐马尔科夫模型、神经网络等。

2.1朴素贝叶斯模型

不想说了！so easy但是很好用。

2.2sigmoid信念网络

它是用logistic sigmoid函数来构建有向图中的条件概率分布。

sigmoid信念网络和logistic回归模型都采用logistic sigmoid函数来计算条件概率，若sigmoid信念网络简化为只含有一个叶子节点，其所有的父节点之间没有链接，且取值为实数，那么他们相似。logistic回归模型只建模条件概率P(y|x)，是一种判别模型，而sigmoid信念网络建模P(x|y)是一种生成模型。

3：贝叶斯网络学习分为两部分：一是网络参数估计，即给定网络结构估计每个条件概率分布的参数；二是寻找最优的网络结构

由于后者优化比较困难，贝叶斯网络结构一般由领域专家来构建，在给定网络结构的条件下，网络的参数一般通过最大似然进行估计。所以下面将说一下参数估计

3.1：

4：EM算法：

假设一组变量，有部分变量是不可观测的，如何进行调参：

11.5给出了带隐变量的贝叶斯网络的图模型结构

公式态度，大部分都是参考 的这个pdf，

https://nndl.github.io/chap-%E6%A6%82%E7%8E%87%E5%9B%BE%E6%A8%A1%E5%9E%8B.pdf