利用Python进行数据分析(14) pandas基础: 数据转换

利用Python进行数据分析(14) pandas基础: 数据转换

1. 移除重复数据

DataFrame里经常会出现重复行,DataFrame提供一个duplicated()方法检测各行是否重复,另一个drop_duplicates()方法用于丢弃重复行:

利用Python进行数据分析(14) pandas基础: 数据转换

duplicated()和drop_duplicates()方法默认判断全部列,如果不想这样,传入列的集合作为参数可以指定按列判断,例如:

利用Python进行数据分析(14) pandas基础: 数据转换

duplicated()和drop_duplicates()方法默认保留第一个出现的值,传入take_last=True保留最后一个值:

利用Python进行数据分析(14) pandas基础: 数据转换

2.利用映射进行数据转换

利用Python进行数据分析(14) pandas基础: 数据转换

3.DataFrame的povit方法

虽然这种存储格式对于关系型数据库是好的,不仅保持了关系完整性还提供了方便的查询支持。但是对于数据操作可能就不那么方便了,DataFrame的数据格式才更加方便。DataFrame的pivot方法提供了这个转换,例如:

利用Python进行数据分析(14) pandas基础: 数据转换

使用函数也能达到同样的效果:

利用Python进行数据分析(14) pandas基础: 数据转换

4.替换值

replace()方法用于替换:

利用Python进行数据分析(14) pandas基础: 数据转换

一次替换多个值:

利用Python进行数据分析(14) pandas基础: 数据转换

对不同的值进行不同的替换:

利用Python进行数据分析(14) pandas基础: 数据转换

5.DataFrame重命名轴索引

重命名列:

利用Python进行数据分析(14) pandas基础: 数据转换

重命名索引:

利用Python进行数据分析(14) pandas基础: 数据转换

6.将数据分成不同的组

利用Python进行数据分析(14) pandas基础: 数据转换

7.检测和过滤异常值

假设你有一组数据:

利用Python进行数据分析(14) pandas基础: 数据转换

找出绝对值大于2的值:

利用Python进行数据分析(14) pandas基础: 数据转换

找出绝对值大于2的行:

利用Python进行数据分析(14) pandas基础: 数据转换

将异常值设置为0:

利用Python进行数据分析(14) pandas基础: 数据转换

8.我的公众号

利用Python进行数据分析(14) pandas基础: 数据转换