信息熵

信源所有可能发生情况的平均不确定性。

交叉熵

衡量两个变量的概率分布的差异性。

用模型来衡量真实情况所需要的额外信息。
相对熵越小，模型就越接近真实分布。

表示在已知随机变量Y的条件下随机变量X的不确定性。

互信息(Mutual Information)可以被看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不确定性。

信息熵交叉熵相对熵条件熵互信息