决策树,基尼系数,泰勒级数

1 衡量分类好坏的方法-熵

        决策树,基尼系数,泰勒级数

决策树,基尼系数,泰勒级数

2. 决策树例子

下面使用李航老师《统计学习方法》的例子,进行说明

决策树,基尼系数,泰勒级数

决策树,基尼系数,泰勒级数

决策树,基尼系数,泰勒级数

3. 熵,基尼系数和error

为什么要讨论这个呢,先看下面这张图,决策树分为以下几类
决策树,基尼系数,泰勒级数
下面为熵,基尼系数和error的公式

决策树,基尼系数,泰勒级数

决策树,基尼系数,泰勒级数

其实H(x)和Gini(X)还挺像的,展开把lnx在x=1处泰勒展开即可,泰勒公式如下:

决策树,基尼系数,泰勒级数

把lnx在x=1处展开,那么就有

决策树,基尼系数,泰勒级数

决策树,基尼系数,泰勒级数

4. 下面玩玩泰勒级数

决策树,基尼系数,泰勒级数

决策树,基尼系数,泰勒级数