概率论中的一些概念

• 概率
• 随机变量
• 分布
• 条件概率
• 链式法则
• 贝叶斯公式
• 主观概率：先验概率，后验概率
• 边际分布
• 联合分布
• 独立性
• 条件独立性

概率推断涉及的三个问题

• 模型优化——给定数据集，模型的最优参数是什么
• 模型应用——给定模型，观测到数据的概率是多少
• 模型选取——模型是否和问题相适配

有向图模型

贝叶斯网络为有向无环图，其节点代表随机变量，边代表依赖关系，每个节点都有一个条件概率分布：

利用链式法则可以紧致地、模块化地表示概率联合分布：
$P(X_1,X_2,\ldots,X_N) = \Pi_i P(X_i|Par_G(X_i))$P(X1​,X2​,…,XN​)=Πi​P(Xi​∣ParG​(Xi​))其中，$Par_G(X)$ParG​(X)代表$X$X在图$G$G中的父节点。咱们称上式为联合分布的因子分解。

对于上图，有
$P(Q,C,L,N) = P(Q) P(L) P(C|Q,L) P(N|C,L)$P(Q,C,L,N)=P(Q)P(L)P(C∣Q,L)P(N∣C,L)

无向图模型

结构学习

参数学习

基于图模型的推断

近似推断方法