机器学习笔记——贝叶斯分类器(V)贝叶斯网络

概念

贝叶斯网络(Bayesian network),又称“信念网络”(belief network),它借助于有向无环图(Directed Acyclic Graph)来刻画属性之间的依赖关系。并且使用条件概率表来描述属性的联合概率分布。

组成

一个贝叶斯网络B由结构G和参数Θ两个部分构成,即B=G,Θ.


其中:
B代表贝叶斯网络
G代表一个有向无环图,其中每个结点对应一个属性,若两个属性有直接的依赖关系,则他们由一条边联系起来。
Θ定量描述这种依赖关系,假设属性xiG中的父节点集为πiΘ包含了每个属性的条件概率表θxiπi=PB(xiπi).


结构

贝叶斯网络结构有效地表达了属性间的条件独立性。给定父结点集合,贝叶斯网络假设每个属性与它的非后裔属性独立,于是B=G,Θx1,x2,,xd的联合概率分布定义为:

PB(x1,x2,,xd)=i=1dPB(xiπi)=i=1dθxiπi

几种常见贝叶斯网络

机器学习笔记——贝叶斯分类器(V)贝叶斯网络
注:
ab在给定c的取值时独立记为:abc

同父结构

给定x1的取值,则x3x4条件独立。
x1的取值未知,则x3x4不独立。

V型结构

给定子结点x4的取值,x1x2必不独立。
但是在x4的取值完全未知的时候,x1x2相互独立。

顺序结构

给定x的值,则yz条件独立。
x1的取值未知,则yz不独立。