数据预处理与关联
数据预处理与关联
数据质量的含义
- 正确性
- 一致性
- 完整性
- 可靠性
在建立数据仓库的时候,由于各种原因造成里数据错误的不可避免性,所以便需要对数据进行预处理。
形式
- 数据清理
- 缺失值:忽略、人工填写、全局变量填充、属性平均值填充、最可能值填充、所有同类样本平均值填充。
- 噪声数据:分箱(按箱平均值、按箱中指、按箱边界)、聚类、回归、计算机和人工检查结合
- 数据集成
- 实体识别
- 属性冗余
- 数据重复
- 数据值冲突的检测与处理
- 数据交换
- 平滑
- 聚类
- 数据概化
- 规范化
- 属性构造
- 数据归约
关联
管理挖掘
在交易数据、关系数据或其他信息载体中,查找存在于项目集合或对象集合之间的频繁模式、关联、相关性、或因果结构。
支持度与可信度
Apriori
频繁项集的任何子集也一定是频繁项集
频繁项集
满足最小支持度的项目集合
第n层向n+1层转换时,要求前n-1项相同。
提高Apriori效率的方法
- 基于Hash的项集计数
- 减少交易记录
- 划分
- 抽样
提高Apriori效率的方法
- 基于Hash的项集计数
- 减少交易记录
- 划分
- 抽样
- 动态项集计数