监督学习——决策树

什么是决策树/判定树(decision tree)
决策树/判定树是一个类似流程图的树结构:其中,每个内部节点表示在一个属性上的测试,每个分支代表一个属性输出,而每个树叶节点代表类或类分布。树的顶层是根节点。
监督学习——决策树

信息熵(entropy)
信息很抽象,我们该如何度量呢?
一条信息的信息量大小和它的不确定性有直接关系。
变量的不确定性越大,熵也越大。

决策树归纳算法(ID3)
选择属性判断结点