信息增益的计算

信息增益有的也成为信息获取量(Information Gain)。
这里主要介绍在决策树中的使用。
$G a i n (A) = I n f o r (D) - I n f o r_A (D)$
信息增益的计算
这里以特征A为例，特征A的信息增益计算方式如下：

计算整个信息(就是计算是否买电脑)的熵：
$I n f o r (D) = - (\frac{9}{14} \log_{2} (\frac{9}{14}) + \frac{5}{14} \log_{2} (\frac{5}{14})) = 0.94 b i t s$
计算依照年龄分类时购买电脑的熵：
$I n f o r_{a g e} (D) = \frac{5}{14} \times (- \frac{2}{5} \log_{2} \frac{2}{5} - \frac{3}{5} \log_{2} \frac{3}{5}) + \dots + \frac{5}{14} (- \frac{3}{5} \log_{2} \frac{3}{5} - \frac{2}{5} \log_{2} \frac{2}{5}) = 0.694 b i t s$
按照公式计算：
$G a i n (a g e) = I n f o r (D) - I n f o r_{a g e} (D) = 0.94 - 0.694 = 0.246 b i t s$