信息论基础--熵
熵是信息论的基础理论，掌握和学习它十分重要。这里介绍若干信息论中的相关概念，重点参考宗成庆老师的《统计自然语言处理》书籍和课件。也在这，强烈推荐下宗成庆老师的《统计自然语言处理》书籍和课件。
目录
-
熵
又称为自信息(self-information)，表示信 源 X 每发一个符号(不论发什么符号)所提供的平均信息量。越不确定的随机变量越需要大的信息量用以确定其值。
-
联合熵(joint entropy)
上述熵是描述单一变量的信息量。如果一个元素，实质上是由两个变量组合而成的，比如一个点（x，y）。那么怎么表示这对变量的信息量？
-
条件熵(conditional entropy)
-
连锁规则---》log运算而来
-
熵率(entropy rate)
-
相对熵（KL距离）
含义：衡量两个概率分布的差距，注意和下面的交叉熵相互区别。
交叉熵
困惑度(perplexity)
我们所说的语言模型的困惑度通常是指语言模型对于测试数据的困惑度。
互信息
双字耦合度
信道模型