邱锡鹏 神经网络与深度学习课程【十五】——概率图模型2和3
学习：
参数学习：给定一组训练样本，求解模型参数 进行参数估计
有向图：
在贝叶斯网络中，所有变量x的联合概率分布可以分解为每个随机变量x_k的局部条件概率的连乘形式
无向图：
以对数线性模式为例
含隐变量的参数估计
隐变量即变量是不可观测的 图中x为可观测变量 z为不可观测变量
高斯混合模型：
高斯混合模型难点：因为z是不可观测的，不知道具体那个样本具体来自那个高斯，简单的解法：K-means
主要两步
含有隐变量的参数估计：期望最大化 Expectation-Maximum 算法 思想首先找一个q(Z)使得KL尽可能为0 然后就最大化ELBO
收敛性：
GMM Revisit E步
M步
最后结果
图示：
K-means vs EM
推断：
给定部分变量，推断另一部分变量的后验概率
不同的图模型 推断P(x|y)难度不一样
推断分类
如何计算边际概率
计算边际概率
应用乘法的分配律可以大大减少计算量 变量消去法
为了减少重复计算 信念传播算法 Belief Propagation
举例：链上传播
详细计算
链式结构图模型的信念传播过程：
更一般的推断：树结构
近似推断：