实用数据分析笔记- 数据的准确率 重复值 缺失值 异常值的识别和处理

数据的准确率 重复值 缺失值 异常值的识别和处理

准确性异常原因:

(1) 对数据的理解有误,字段含义与理解含义不同;
(2) 指标的统计逻辑差异:
(3) 数据不完整,有缺失或者遗漏;

判断数据的准确性

(1) 分析结果与已知的准确数据进行对比;
(2)相关人员进行核实;

  • 数据准确性的影响
    数据影响失真, 在分析 建模的过程中会让模型出现啊错误的结果 导致输出结果不可靠,
  • 解决方案
    不断修正逻辑直到获取准确的数据

重复值

实用数据分析笔记- 数据的准确率 重复值 缺失值 异常值的识别和处理

缺失值

实用数据分析笔记- 数据的准确率 重复值 缺失值 异常值的识别和处理
实用数据分析笔记- 数据的准确率 重复值 缺失值 异常值的识别和处理
实用数据分析笔记- 数据的准确率 重复值 缺失值 异常值的识别和处理

异常值

实用数据分析笔记- 数据的准确率 重复值 缺失值 异常值的识别和处理
实用数据分析笔记- 数据的准确率 重复值 缺失值 异常值的识别和处理
实用数据分析笔记- 数据的准确率 重复值 缺失值 异常值的识别和处理
实用数据分析笔记- 数据的准确率 重复值 缺失值 异常值的识别和处理
实用数据分析笔记- 数据的准确率 重复值 缺失值 异常值的识别和处理