机器学习笔记：CRF(条件随机场)

格式驾驭不了，图片大小不会改，可以直接看我的有道笔记：http://note.youdao.com/noteshare?id=2fe331b7bd0ad355e3afe29da20c6b7d

CRF(conditional random field，条件随机场)

• 给定一组输入随机变量的条件下另一组输出随机变量的条件概率分布密度
• 图：
  • 由节点v和连接节点的边e组成的集合。记作G=（V,E）。无向图指边没有方向的图

• 概率图模型(PGM)：

• 用图的形式表示随机变量之间条件以来的概率模型。常用分两类：①有向图（贝叶斯网络、信念网络）②无向图（马尔科夫随机场、马尔科夫网络）

• 有向图联合概率：

• 无向图联合概率（马尔科夫随机场）：

定义：设联合概率分布P(Y),由无向图G=(V,E)表示，在图中，节点表示随机变量，边表示随机变量之间的依赖关系。P(Y)满足成对、局部或全局马尔科夫性；

成对马尔科夫性：u,v是无向图G中任意没有边连接的节点，对应随机变量为Yu、Yv，其他所有节点为O，对应随机变量组是Yo,成对马尔科夫性指：给定随机变量组Yo的条件下随机变量Yu和Yv是条件独立的。即：

• 局部马尔科夫性：v属于V是无向图G中任意一个节点，W是与v有边连接的所有结点，O是v,W以外的其他所有结点。局部巴尔科夫性指的是：给定随机变量组Yw的条件下随机变量Yv和Yo是独立的。即：

• 全局马尔科夫性：结点集合A,B是在无向图G中被结点集合C分开的任意结点集合，对应的随机变量组为Ya,Yb,Yc。全局马尔科夫性指：Yc条件下随机变量组Ya和Yb是条件独立的，即：

 

• 团：

无向图G中任意两个节点均有边连接的节点子集称为团

不能加进任何一个G的节点使其称为一个更大的团，称为最大团

例子：

• 概率无向图模型的联合概率分布：

 

• 条件随机场：
  • X,Y是随机变量，P(Y|X)是给定X的条件下Y的条件概率分布。若随机变量Y构成一个由无向图G=(V,E)表示的马尔科夫随机场即（以下公式）：对任意节点v成立，则称条件概率分布P(Y|X)为条件随机场