深度学习课堂笔记

概率图模型

用概率来描述事物的不确定性
有明确关系的用有向图，无明确关系用无向图
贝叶斯网络：有向图
马尔可夫场：无向图

知识结构：
概率图模型的表示主要解决的是如何在一个图上定义一个联合概率分布
采用图的形式表示联合概率分布大大降低计算复杂度。条件独立性分解成不同因子的乘积

推理计算：求边缘概率、求最大后验概率、求归一化因子

和神经网络的关系

神经网络中每个神经元看作一个二值随机变量，神经网络就变成了一个sigmoid信念网络
图模型的变量一般有着明确的解释
图模型一般是生成模型

图模型参数学习的目标函数为似然函数或条件似然函数
若包含隐变量则通常通过EM算法来求解
神经网络的目标为交叉熵或平方误差等

概率图模型可以组成任何函数，灵活性好，复杂度高

表明变量之间的相关性

训练方法相似

基本概念

概率有向图模型=贝叶斯网络=信念网络=有向无环图
因果有边连接

条件独立性
什么情况可以直接判断条件独立？

如果节点c是已知的，ab条件独立，否则不独立

D-分离

如上图，a和b之间有一条路径aefb，e是头到头的链接，f是尾到尾的连接

朴素贝叶斯

以类别Y为条件，输入变量X的分布是独立的。

隐马尔可夫模型

关于时序的概率模型
由初始状态概率向量、状态转移概率矩阵、观测概率矩阵决定