深度之眼Kaggle比赛实战项目记录—4—房价预测(3)第一周第三节 房价的数据预处理之探索性数据分析

说明

学习时长:1/2——1/3

任务名称:房价的数据预处理之探索性数据分析

任务简介:数据的读取与显示、查看数据的缺失情况、查看数据的类型情况、查看特征之间的相关性。

详细说明:数据的读取与显示利用pandas来读取语法是train=pandas.read_csv(filepath)。数据的显示直接在cell中打印train就好了,如要显示前五行的话那么就要train.head(),或者是利用train.sample(5)随机显示五行数据,在这里呢,用一个叫做pandas_profiling的包来进行查看数据的缺失情况、数据的类型情况、特征之间的相关性,具体的用法的是

Import pandas_profiling as ppf

Ppf.profileReport(train)

就行啦!后面的话会生成的一个报表包括上面的所有的信息。这里要提醒一下的是要用这个包的话,那么就要在Anaconda Prompt中运行pip install pandas_profiling,稍微等待一下就好了。

从这个报表里面可以看到的是数据缺失情况,以及每一个特征的分布情况,特征与特征之间的相关性等等信息。

代码下载:

链接:https://pan.baidu.com/s/1pAqxY3ZudZZxk_UK62J7Yw

提取码:j7v3

作业名称(详解):读取train.csv文件并且显示后五行,自行查阅pandas中的两种数据结构分别是什么?并做出总结(文字)。Pandas的可视化函数有哪些?(文字),person系数为什么可以用来衡量数据之间的相关性?(图文并茂的提交),如何利用pandas来显示数据信息(代码运行截图)

作业提交形式:

打卡提交,文字最少70字,图片最少2张

打卡截止日期:1/3

点我打卡!提交你的作业吧~

打卡

数据清洗方法:
深度之眼Kaggle比赛实战项目记录—4—房价预测(3)第一周第三节 房价的数据预处理之探索性数据分析深度之眼Kaggle比赛实战项目记录—4—房价预测(3)第一周第三节 房价的数据预处理之探索性数据分析深度之眼Kaggle比赛实战项目记录—4—房价预测(3)第一周第三节 房价的数据预处理之探索性数据分析深度之眼Kaggle比赛实战项目记录—4—房价预测(3)第一周第三节 房价的数据预处理之探索性数据分析
打卡:
1.Pandas中的两种数据结构是一维的 Series 和二维的 DataFrame。Series 的建立都可以简单的通过传入列表对象来完成。同时,还可以自定义 index,否则则是默认的数字。而 DataFrame 可以理解为多个 Series 列的集合,并且相对于 Series 的行标签(index)多了一个列标签(column)。DataFrame 的建立可以通过传入二维数组加上 index 或者直接通过传入字典建立。
除了多了标签,不论是Series 还是 DataFrame 的结构和性质基本和 NumPy 类似。

2.Pandas的可视化主要包括画布的建立、坐标系的建立、坐标轴的设置以及各种图表的绘制函数,比如折线图、散点图、箱型图等等。

3.pandas相关系数-DataFrame.corr()参数:
DataFrame.corr(method=‘pearson’, min_periods=1),其中 person 为method 的可选的参数。
Pearson相关系数来衡量两个数据集合是否在一条线上面,即针对线性数据的相关系数计算,针对非线性数据便会有误差。

4.代码深度之眼Kaggle比赛实战项目记录—4—房价预测(3)第一周第三节 房价的数据预处理之探索性数据分析深度之眼Kaggle比赛实战项目记录—4—房价预测(3)第一周第三节 房价的数据预处理之探索性数据分析深度之眼Kaggle比赛实战项目记录—4—房价预测(3)第一周第三节 房价的数据预处理之探索性数据分析深度之眼Kaggle比赛实战项目记录—4—房价预测(3)第一周第三节 房价的数据预处理之探索性数据分析