人工智能入门课程学习(10)——聚类算法
文章目录
1.聚类算法简介
使用不同的聚类准则,产生的聚类结果不同。
1.1 聚类算法的一些具体应用
-
用户画像,广告推荐,Data Segmentation,搜索引擎的流量推荐,恶意流量识别
-
基于位置信息的商业推送,新闻聚类,筛选排序
-
图像分割,降维,识别;离群点检测;信用卡异常消费;发掘相同功能的基因片段
1.2 聚类算法的概念
聚类算法:
一种典型的无监督学习算法,主要用于将相似的样本自动归到一个类别中。
在聚类算法中根据样本之间的相似性,将样本划分到不同的类别中,对于不同的相似度计算方法,会得到不同的聚类结果,常用的相似度计算方法有欧式距离法。
1.3 与分类算法的最大区别
聚类算法是无监督的学习算法,而分类算法属于监督的学习算法。
2.使用sklearn中的api入门分类算法
2.1 api
- sklearn.cluster.KMeans(n_clusters=8)
- 参数:
- n_clusters:开始的聚类中心数量
- 整型,缺省值=8,生成的聚类数,即产生的质心(centroids)数。
- n_clusters:开始的聚类中心数量
- 方法:
- estimator.fit(x)
- estimator.predict(x)
- estimator.fit_predict(x)
- 计算聚类中心并预测每个样本属于哪个类别,相当于先调用fit(x),然后再调用predict(x)
- 参数:
2.2 分类案例
3. 聚类算法实现流程
k-means其实包含两层内容:
K : 初始中心点个数(计划聚类数)
means:求中心点到其他数据点距离的平均值
3.1 k-means聚类步骤
- 1、随机设置K个特征空间内的点作为初始的聚类中心
- 2、对于其他每个点计算到K个中心的距离,未知的点选择最近的一个聚类中心点作为标记类别
- 3、接着对着标记的聚类中心之后,重新计算出每个聚类的新中心点(平均值)
- 4、如果计算得出的新中心点与原中心点一样(质心不再移动),那么结束,否则重新进行第二步过程
通过下图解释实现流程:
3.2 流程总结
流程:
-
事先确定常数K,常数K意味着最终的聚类类别数;
-
首先随机选定初始点为质心,并通过计算每一个样本与质心之间的相似度(这里为欧式距离),将样本点归到最相似的类中,
-
接着,重新计算每个类的质心(即为类中心),重复这样的过程,直到质心不再改变,
-
最终就确定了每个样本所属的类别以及每个类的质心。
注意: -
由于每次都要计算所有的样本与每一个质心之间的相似度,故在大规模的数据集上,K-Means算法的收敛速度比较慢。
4.聚类算法的模型评估
4.1 误差平方和(SSE \The sum of squares due to error):
举例:(下图中数据-0.2, 0.4, -0.8, 1.3, -0.7, 均为真实值和预测值的差)
在k-means中的应用:
上图中: k=2
- SSE图最终的结果,对图松散度的衡量.(eg: SSE(左图)<SSE(右图))
- SSE随着聚类迭代,其值会越来越小,直到最后趋于稳定
- 如果质心的初始值选择不好,SSE只会达到一个不怎么好的局部最优解.
4.2 “肘”方法 (Elbow method) — K值确定
(1)对于n个点的数据集,迭代计算k from 1 to n,每次聚类完成后计算每个点到其所属的簇中心的距离的平方和;
(2)平方和是会逐渐变小的,直到k==n时平方和为0,因为每个点都是它所在的簇中心本身。
(3)在这个平方和变化过程中,会出现一个拐点也即“肘”点,下降率突然变缓时即认为是最佳的k值。
在决定什么时候停止训练时,肘形判据同样有效,数据通常有更多的噪音,在增加分类无法带来更多回报时,我们停止增加类别。
4.3 轮廓系数法(Silhouette Coefficient)
结合了聚类的凝聚度(Cohesion)和分离度(Separation),用于评估聚类的效果:
目的:
内部距离最小化,外部距离最大化
4.4 CH系数(Calinski-Harabasz Index)
Calinski-Harabasz:
类别内部数据的协方差越小越好,类别之间的协方差越大越好(换句话说:类别内部数据的距离平方和越小越好,类别之间的距离平方和越大越好),
这样的Calinski-Harabasz分数s会高,分数s高则聚类效果越好。
CH需要达到的目的:
用尽量少的类别聚类尽量多的样本,同时获得较好的聚类效果。
5.算法优化
5.1 Canopy算法配合初始聚类
实现流程:
优缺点:
5.2 K-means++
kmeans++目的,让选择的质心尽可能的分散
如下图中,如果第一个质心选择在圆心,那么最优可能选择到的下一个点在P(A)这个区域(根据颜色进行划分)
其他算法还有:
6.特征降维
降维是指在某些限定条件下,降低随机变量(特征)个数,得到一组**“不相关”主变量**的过程
6.1降维的两种方式
- 特征选择
- 主成分分析(可以理解一种特征提取的方式)
6.2 特征选择
数据中包含冗余或无关变量(或称特征、属性、指标等),旨在从原有特征中找出主要特征。
1.方法
- Filter(过滤式):主要探究特征本身特点、特征与特征和目标值之间关联
- 方差选择法:低方差特征过滤
- 相关系数
- Embedded (嵌入式):算法自动选择特征(特征与目标值之间的关联)
- 决策树:信息熵、信息增益
- 正则化:L1、L2
- 深度学习:卷积等
2.API介绍
3.数据降维的实际使用案例
7. 案例:探究用户对物品类别的喜好细分降维
数据介绍: