概率图模型(2)--马尔科夫随机场

马尔可夫随机场（MRF）是典型的马尔可夫网，是一种著名的无向图模型。每个节点表示一个或一组变量，节点之间之间的边表示两个变量之间的依赖关系，马尔可夫随机场有一组势函数，定义在变量子集上的非负实函数，主要用于定义概率分布函数。

对于图中节点的一个子集，若其中任意两节点间都有边连接，则称该节点子集为一个“团”。若在一个团中加入另外任何一个节点都不再形成团，则称该团为“极大团”。显然，每个节点至少出现在一个极大团中。

在马尔可夫随机场中，多个变量之间的联合概率分布能基于团分解为多个因子的乘积，每个因子仅与一个团相关。具体来说，对于 n 个变量 $x={x_1,x_2,...,x_n}$x=x1​,x2​,...,xn​ ,所有极大团构成的集合为 $C^*$C∗, 与团 $Q \in C^*$Q∈C∗ 对应的变量集合记为 $x_Q$xQ​, 则联合概率 $P(x)$P(x) 定义为

$P(x)=\frac{1}{Z^*} \prod \limits_{Q \in C*} \psi_Q(x_Q)$P(x)=Z∗1​Q∈C∗∏​ψQ​(xQ​)

其中 $Z^*=\sum_x \prod_{Q \in C*} \psi_Q(x_Q)$Z∗=∑x​∏Q∈C∗​ψQ​(xQ​) 为规范化因子，确保 P 是被正确定义的概率。$\psi_Q$ψQ​ 为与团 Q 对应的势函数。

若从节点集A中的节点到B中的节点都必须经过C中的节点，称节点集A和节点集B被节点集C分离。C称为分离集。

在马尔可夫随机场中如何得到“条件独立性”？

全局马尔可夫性：给定两个变量子集的分离集，则这两个变量子集条件独立。

对于上图，全局马尔可夫独立性可表示为：$X_A \bot X_B|X_C$XA​⊥XB​∣XC​

由全局马尔可夫性得到两个推论：

局部马尔可夫独立性：给定某变量的邻接变量，则该变量条件独立于其他变量。形式化的说，令 $V$V 为图的节点集，$n(v)$n(v) 为节点 $v$v 在图上的邻接节点，$n^*(v) = n(v) \cup \{v\}$n∗(v)=n(v)∪{v} ,有 $X_v \bot X_{V \setminus n^*(v)}|X_{n(v)}$Xv​⊥XV∖n∗(v)​∣Xn(v)​

成对马尔可夫性：给定所有其他变量，两个非邻接变量条件独立。形式化的说，令图的节点集和边集分别为 V 和 E，对图中的两个节点 u 和 v，若 $\lt u,v \gt \not\in E$<u,v>​∈E，则 $X_u \bot X_v|X_{V \setminus \lt u,v \gt}$Xu​⊥Xv​∣XV∖<u,v>​

马尔可夫随机场中的势函数 $\psi_Q(x_Q)$ψQ​(xQ​) 的作用是定量刻画变量集 $x_Q$xQ​ 中变量之间的相关关系，应该是非负函数，且在所偏好的变量取值上有较大的函数值。指数函数常用于定义势函数。