KNN(最邻近规则分类)+决策树 (入门)

一、最临近规则分类(KNN)

KNN:通过计算分类数据点,与已有数据集中的所有数据点的距离。取距离最小的前K个点,根据“少数如从多数”的原则,将这个数据点划分为出现次数最多的哪个类别。

如图:KNN(最邻近规则分类)+决策树 (入门)

上代码:(一个超级简单的例子)

from sklearn.neighbors import KNeighborsClassifier
#创建数据集x 和标签y
x = [[0],[1],[2],[3]]
y = [0,0,1,1]
#设置 K
neigh = KNeighborsClassifier(n_neighbors=3)
#训练
neigh.fit(x,y)
#调用predict()函数,对未知样本进行分类,标签作为输出
print(neigh.predict([[1.1]]))

运行截图如下:

KNN(最邻近规则分类)+决策树 (入门)

参考视频:(中国大学MOOC)https://www.icourse163.org/learn/BIT-1001872001#/learn/content?type=detail&id=1002862574&cid=1003256737

二、决策树算法

KNN(最邻近规则分类)+决策树 (入门)

使用伪代码来表示一下就是:

if()
{
	if()
	{
		if()
		{
		
		}
	}
}

意思就是通过多种条件判断达到分类的目的

KNN(最邻近规则分类)+决策树 (入门)

criterion:用于属性的准则,可以使用“gini”代表基尼系数,或者“entropy”代表信息增益。

参考视频:(中国大学MOOC)https://www.icourse163.org/learn/BIT-1001872001#/learn/content?type=detail&id=1002862574&cid=1003256737