决策树和随机森林特性和使用

class sklearn.tree.DecisionTreeClassifier(criterion='gini', splitter='best', max_dept h=None, min_samples_split=2,min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None,class_weight=N one, presort=False)

参数说明

criterion:string

衡量凾类的质量。支持的标准有"gini"(默认) 代表的是 Gini impurity 不"entropy"代表的是 information gain

splitter:string

一种用来在节点中选择凾类的策略。支持的策 略有"best("默认)，选择最好的凾类;"random" 选择最好的随机凾类。

max_depth:int or None

树的最大深度。如果是"None"(默认),则节 点会一直扩展直到所有的叶子都是纯的戒者 所有的叶子节点都包含少亍min_samples_split 个 样 本 点 。 忽 规max_leaf_nodes 是丌是为 None。

persort:bool

是否预凾类数据以加速训练时最好凾类的查 找。在有大数据集的决策树中，如果设为 true可能会减慢训练的过程。当使用一个小数据集 戒者一个深度叐限的决策树中，可以减速训练 的过程。默认 False

class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion='gini ', max_depth=None,min_samples_split=2, min_samples_leaf=1, min_weight_fractio n_leaf=0.0, max_features='auto',max_leaf_nodes=None, bootstrap=True, oob_scor e=False, n_jobs=1, random_state=None, verbose=0,warm_start=False, class_weig ht=None)

参数说明

n_estimators: integer

随机森林中的决策树的棵树，默认为 10

bootstrap:boolean

在训练决策树的过程中是否使用 bootstrap 抽样斱法，默认为 True

max_depth:int or None

树的最大深度。如果是"None"(默认),则

节点会一直扩展直到所有的叶子都是纯的 戒者所有的叶子节点都包含少亍min_samples_split 个 样 本 点 。 忽 规max_leaf_nodes 是丌是为 None。

criterion:string

衡量凾类的质量。支持的标准有"gini"(默 认)代表的是 Gini impurity 不"entropy"代 表的是 information gain

# 花萼长度、花萼宽度，花瓣长度，花瓣宽度
iris_feature = 'sepal length', 'sepal width', 'petal length', 'petal width'

if __name__ == "__main__":
path = u'4.iris.data' # 数据文件路径

# 路径，浮点型数据，逗号分隔，第 4 列使用函数 iris_type 单独处理

data = np.loadtxt(path, dtype=float, delimiter=',', converters={4: iris_type})

# 将数据的0到3列组成x，第4列得到y

x, y = np.split(data, (4,), axis=1) # 为了可视化，仅使用前两列特征
x = x[:, :2]

# 决策树参数估计

# min_samples_split = 10:如果该结点包含的样本数目大于10，则(有可能) 对其分支

# min_samples_leaf = 10:若将某结点分支后，得到的每个子结点样本数目都 大于 10，则完成分支;否则，不进行分支

clf = DecisionTreeClassifier(criterion='entropy',min_samples_leaf=3)

    dt_clf = clf.fit(x, y)

# 保存
f = open("iris_tree.dot", 'w') tree.export_graphviz(dt_clf, out_file=f)

# 画图
N, M = 500, 500 # 横纵各采样多少个值
x1_min, x1_max = x[:, 0].min(), x[:, 0].max() # 第 0 列的范围 x2_min, x2_max = x[:, 1].min(), x[:, 1].max() # 第 1 列的范围 t1 = np.linspace(x1_min, x1_max, N)
t2 = np.linspace(x2_min, x2_max, M)

# 样本的显示plt.xlabel(iris_feature[0]) plt.ylabel(iris_feature[1]) plt.xlim(x1_min, x1_max) plt.ylim(x2_min, x2_max) plt.grid()
plt.show()

# 训练集上的预测结果
y_hat = dt_clf.predict(x)
y = y.reshape(-1) # 此转置仅仅为了 print 时能够集中显示 print y_hat.shape # 不妨显示下 y_hat 的形状

print y.shape
result = (y_hat == y) # True 则预测正确，False 则预测错误
print y_hat
print y
print result
c = np.count_nonzero(result) # 统计预测正确的个数
print c
print 'Accuracy: %.2f%%' % (100 * float(c) / float(len(result)))

N = 100
x = np.random.rand(N) * 6 - 3 # [-3,3)
x.sort()
y = np.sin(x) + np.random.randn(N) * 0.05
x = x.reshape(-1, 1) # 转置后，得到 N 个样本，每个样本都是 1 维的

# 比较决策树的深度影响
depth = [2, 4, 6, 8, 10]
clr = 'rgmby'
reg = [ DecisionTreeRegressor(criterion='mse', max_depth=depth[0]),

DecisionTreeRegressor(criterion='mse', max_depth=depth[1]), DecisionTreeRegressor(criterion='mse', max_depth=depth[2]), DecisionTreeRegressor(criterion='mse', max_depth=depth[3]), DecisionTreeRegressor(criterion='mse', max_depth=depth[4])]

plt.plot(x, y, 'ko', linewidth=2, label='Actual') x_test = np.linspace(-3, 3, 50).reshape(-1, 1) for i, r in enumerate(reg):

    dt = r.fit(x, y)

N = 100
x = np.random.rand(N) * 8 - 4 # [-4,4)x.sort()
y1 = np.sin(x) + np.random.randn(N) * 0.1 y2 = np.cos(x) + np.random.randn(N) * 0.1 y = np.vstack((y1, y2)).T

x = x.reshape(-1, 1) # 转置后，得到 N 个样本，每个样本都是 1 维的

deep = 10
reg = DecisionTreeRegressor(criterion='mse', max_depth=deep) dt = reg.fit(x, y)

x_test = np.linspace(-4, 4, num=100).reshape(-1, 1)
y_hat = dt.predict(x_test)
plt.scatter(y[:, 0], y[:, 1], c='r', s=40, label='Actual') plt.scatter(y_hat[:, 0], y_hat[:, 1], c='g', marker='s', s=40,label='Depth=%d' % deep, alpha=0.6)

plt.legend(loc='upper left') plt.grid()
plt.show()