【熵系列-2】信息熵

【熵系列-2】信息熵

熵的定义：

根据维基的定义，熵的定义如下：熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。直白地解释就是信息中含的信息量的大小，其定义如下：
$H(X) = E[I(X)] = E(-ln(P(X)))$H(X)=E[I(X)]=E(−ln(P(X)))
其曲线如下图：

上一篇文章我们简单介绍了香农信息量的概念，由香农信息量我们可以知道对于一个已知概率的事件，我们需要多少的数据量能完整地把它表达清楚，不与外界产生歧义。但对于整个系统而言，其实我们更加关心的是表达系统整体所需要的信息量。比如我们上面举例的aaBaaaVaaaaa这段字母，虽然B和V的香农信息量比较大，但他们出现的次数明显要比a少很多，因此我们需要有一个方法来评估整体系统的信息量。

相信你可以很容易想到利用期望这个东西，因此评估的方法可以是：“事件香农信息量×事件概率”的累加。这也正是信息熵的概念。

如aaBaaaVaaaaa 这段字母，信息熵为：$-\frac{5}{6}log_2\frac{5}{6} - 2 \times \frac{1}{12} log_2 \frac{1}{12} = 0.817$−65​log2​65​−2×121​log2​121​=0.817

abBcdeVfhgim这段字母，信息熵为：$-12\times\frac{1}{12}log_2\frac{1}{12} = 3.585$−12×121​log2​121​=3.585

从数值上可以很直观地看出，第二段字母信息量大，和观察相一致。对于连续型随机变量，信息熵公式变为积分的形式，如下：

$H(p) = H(X) = E_{x \sim p(x)}[-logp(x)] = -\int p(x)log p(x)dx$H(p)=H(X)=Ex∼p(x)​[−logp(x)]=−∫p(x)logp(x)dx