panda dataframe空值统计与处理
1.空值统计
- 空值统计
num_vars['Salary'].isnull().sum()
- 非空值统计
num_vars['Salary'].count()
2.空值处理
1.填充法
1.使用前项填充
store_items.fillna(method = 'ffill', axis = 0)
发现glasses 的一个值没有被填充,前向填充就是用后一个人舔自己的位置,后向填充相反。
2.使用后项填充
store_items.fillna(method = 'backfill', axis = 0)
3.线性填充(可与理解为等差序列填充)
2.删除法
data.dropna(how = 'all') # 传入这个参数后将只丢弃全为缺失值的那些行
data.dropna(axis = 1) # 丢弃有缺失值的列(一般不会这么做,这样会删掉一个特征)
data.dropna(axis=1,how="all") # 丢弃全为缺失值的那些列
data.dropna(axis=0,subset = ["Age", "Sex"]) # 丢弃‘Age’和‘Sex’这两列中有缺失值的行