条件独立
如果P(X,Y|Z)=P(X|Z)P(Y|Z),或等价地P(X|Y,Z)=P(X|Z),则称事件X,Y对于给定事件Z是条件独立的,也就是说,当Z发生时,X发生与否与Y发生与否是无关的。
在图模型中,条件独立有以下三种典型情况:
条件独立举例
比如两枚硬币,一枚均匀(fair),一枚(biased,0.9 的概率为正,0.1 的概率为反面)。做如下操作,首先随机选择一枚硬币,然后投掷两次(tosses),现定义如下三个随机变量:
- C:随机选择一枚硬币;
- X1:第一次投掷的正反面情况;
- X2:第二次投掷的正反面情况;
考虑现在做第一次投掷,X1,如果为正面,则第二次投掷为正面的概率。如果知道选中的是哪一种硬币,显然第二次投掷与第一次投掷彼此是独立的。因此,P⊨(X1⊥X2∣∣C)
条件独立不能推出独立:
例如,定义如下事件:
- X:明天下雨;
- Y:今天的地面是湿的;
- Z:今天是否下雨;
Z 事件的成立,对 X 和 Y 均有影响,然而,在 Z 事件成立的前提下,今天的地面情况对明天是否下雨没有影响。
独立不能推出条件独立:
考虑这样一件事:投掷两个骰子,记A为第一个掷出3点,B为第二个掷出4点,C为点数和是7。显然A和B是独立事件,但在C的条件下A和B不独立。
(个人感觉条件独立好像是给独立另加了一个维度,硬是把两个联系起来)
条件独立与马尔科夫性
- P(AB|C)=P(A|C)P(B|C)⇒P(B|AC)=P(B|C)
- C:事件表示现在;
- A:事件表示过去;
- B:事件表示未来;
- 这样在条件独立的前提下,P(B|AC)=P(B|C) 未来发生的概率只有现在有关,而与过去无关;