决策树学习(1)信息熵

信息熵:不确定度的度量,信息熵越大数据不确定性越高

公式:决策树学习(1)信息熵

特殊的二分:决策树学习(1)信息熵

作图:

import numpy as np
import matplotlib.pyplot as plt
def entropy(p):
    return -p*np.log(p)-(1-p)*np.log(1-p)
x =np.linspace(0.01,0.99,200)//在指定的间隔内返回均匀间隔的数字,这个区间的端点可以任意的被排除在外。
plt.plot(x,entropy(x))
plt.show()//打印图像

决策树学习(1)信息熵