Pandas中DataFrame用法总结
DataFrame：类似于表的数据结构
本文对Pandas包中二维（多维）数据结构DataFrame的特点和用法进行了总结归纳。
可以参考：pandas用法速览
3.1 增加数据
3.1.1 创建数据框Object Creation
import pandas as pd
import numpy as np
#通过Numpy array来创建数据框
dates=pd.date_range('2018-09-01',periods=7)
dF1=pd.DataFrame(np.random.rand(7,4),index=dates) #从标准正态分布中返回一个数组
#通过dict来创建数据框
dataDict={'A':1.,
'B':pd.Timestamp('20180901'),
'C':pd.Series(1,index=range(4),dtype='float'),
'D':np.array([3]*4,dtype='int'),
'E':pd.Categorical(['test','train','test','train']),
'F':'foo'
}
dF2=pd.DataFrame(dataDict)
dF2.info() #查看数据类型
3.1.2 整合数据
Concat/Merge/Append
Concat:将数据框拼接在一起（可按rows或columns）
Merge:类似于SQL中Join的用法
Append:将数据按rows拼接到数据框中
#Concat:将数据框拼接在一起（可按rows或columns）
dF=pd.DataFrame(np.random.randn(10,4))
#将数据框拆分后在拼接
pieces1=dF[:3]
pieces2=dF[3:7]
pieces3=dF[7:]
pd.concat([pieces1,pieces2,pieces3],axis=0) #拼接
#Merge（类似于SQL中Join的用法）
left=pd.DataFrame({'key':['foo','foo'],'value':[1,2]})
right=pd.DataFrame({'key':['foo','foo'],'value':[4,5]})
#根据key进行连接
pd.merge(left,right,on='key')
#Append:将数据按rows拼接到数据框中
df=pd.DataFrame(np.random.randn(8,4),columns=['A','B','C','D']
,index=range(1,9))
s=df.iloc[0] #提取第一行数据
df.append(s,ignore_index=False) #ignore_index若为Ture则插入数据后索引将更新，否则保持原有索引值
3.1.3 导入/导出数据Getting Data In/Out
Csv/Excel
#Csv
#导出为Csv文件，名称及位置（默认和notebook文件同一目录下）
df.to_csv('foo.csv')
#导入Csv文件
fileDf=df.read_csv('foo.csv')
#Excel
#导出为xlsx文件
df.to_excel('foo.xlsx',sheet_name='Sheet1')
#导入制定表的sheet数据
fileDf=pd.read_excel('Python数据/朝阳医院2018年销售数据.xlsx','Sheet1')
3.2 查看数据
3.2.1 查看数据Viewing Data
查看数据三部曲：
head():查看数据前几项，看数据长什么样
info():查看数据类型，以及数据缺失情况
descibe():查看数据描述统计性信息，数据大概分布情况
#导入数据
fileDf=pd.read_excel('Python数据/朝阳医院2018年销售数据.xlsx','Sheet1')
fileDf.head()
fileDf.info()
fileDf.describe()
#数据转置
fileDf.T
#按指定属性值排序
fileDf.sort_values('销售数量',ascending=False) #按照‘销售数量’降序排列数据
#查看某数据数值的分布
fileDf['商品名称'].value_counts()
3.2.2 选取数据Selection
#直接切片获取数据（行根据位置，列根据列名）
fileDf['商品名称'] #根据属性名，获取列
fileDf[0:3] #切片获取位置(0:2)的数据，相当于fileDf.iloc[0:3]
#利用loc根据标签值Label获取数据:可以交叉取值
fileDf.loc[0:3,['商品名称','销售数量']] #获取索引值为(0:3)的中'商品名称'的数据
fileDf.loc[1] #获取索引值为2的所有数据
#利用iloc根据位置获取Position数据
fileDf.iloc[1] #获取第二行的所有数据
fileDf.iloc[1:3,[0,3]] #获取第二、三行，一、四列的数据
#利用布尔值判断取数
fileDf[fileDf['销售数量']>30] #提取“销售数量”大于30的数据
#isin()方法，类似于SQL中的in方法
fileDf[fileDf['商品名称'].isin(['感康'])] #提取“商品名称”为感康的所有数据
#提取“商品名称”为感康，且“销售数量”大于5的所有数据
fileDf[fileDf['商品名称'].isin(['感康'])&(fileDf['销售数量']>5)]
3.2.3 数据操作Operations
stats/Apply
Apply:（用于dataframe，对row或column进行操作）类似于map（python自带，用于series，元素级别的操作）
#stats
fileDf.mean() #求均值
fileDf['实收金额'].mean() #求某列均值
#apply
df.apply(lambda x:x.max()-x.min())
3.2.4 分组操作Grouping
类似于SQL中的group by 分组操作
#根据商品名称进行分组求和，得到每种商品的'销售数量','应收金额','实收金额'
fileDf.groupby('商品名称').sum()[['销售数量','应收金额','实收金额']]
#根据时间和商品名称进行分组求和，得到每天每种商品的'销售数量','应收金额','实收金额'
fileDf.groupby(['购药时间','商品名称']).sum()[['销售数量','应收金额','实收金额']]
3.3 修改数据
3.3.1 缺失值处理Missing Data
pandas中主要用np.nan来代表缺失值(NaN)，缺失值一般不进行计算操作
#剔除有缺失值的行
fileDf.dropna(how='any')
#填充缺失值
fileDf.fillna(value=5) #用特定值填充
#找出‘商品名称’中有空缺值的行
fileDf[fileDf['商品名称'].isnull()]
3.3.2 改变形状Reshaping
Pivot Tables:类似excel中的数据透视表，重新组合行和列
#利用字典创建数据框
df=pd.DataFrame({'A':['one','one','two','three']*3,
'B':['A','B','C']*4,
'C':['foo','foo','foo','bar','bar','bar']*2,
'D':np.random.randn(12),
'E':np.random.randint(0,5,12)}
)
print(df)
#分析D数据在A/B/C属性不同时的值
pd.pivot_table(df,values='D',index=['A','B'],columns=['C'])
3.4 时间序列Time Series
#创建间隔为1s总数100个时间序列
rng=pd.date_range('20180901',periods=100,freq='S')
#以时间序列为索引值，创建Series
ts=pd.Series(np.random.randint(0,500,len(rng)),index=rng)
#以1min为间隔进行求和
ts.resample('1Min').sum()
#创建间隔为1天总数5个时间序列
rng=pd.date_range('9/1/2018 00:00',periods=5,freq='D')
#以时间序列为索引值，创建Series
ts=pd.Series(np.random.randn(len(rng)),index=rng)
如果对于本文中代码或数据有任何疑问，欢迎评论或私信交流