的Python:numpy的和熊猫转化时间戳/数据到一个热编码-

问题描述:

我有一个数据帧是这样的Python:numpy的和熊猫转化时间戳/数据到一个热编码-

   time 
0  2017-03-01 15:30:00 
1  2017-03-01 16:00:00 
2  2017-03-01 16:30:00 
3  2017-03-01 17:00:00 
4  2017-03-01 17:30:00 
5  2017-03-01 18:00:00 
6  2017-03-01 18:30:00 
7  2017-03-01 19:00:00 
8  2017-03-01 19:30:00 
9  2017-03-01 20:00:00 
10  2017-03-01 20:30:00 
11  2017-03-01 21:00:00 
12  2017-03-01 21:30:00 
13  2017-03-01 22:00:00 
. 
. 
. 

我想“编码”所述一天中的时间的一个列。我想通过首先每半个小时分配一个整数来做到这一点。从

00:30:00 --> 1 
01:00:00 --> 2 
01:30:00 --> 3 
02:00:00 --> 4 
02:30:00 --> 5 

等等。因此我们会有48号码(因为有24小时)。我想找到将我的列转换为包含这些值的列表/列的最快方式。

到目前为止,我可以做到这一点的价值。例如

2*int(timeDF.iloc[0][11:13]) + int(int(timeDF.iloc[0][14:16])/30) 会将15:30:00转换成31

我想我可以通过循环做到这一点,而不是使用0我使用循环遍历列的长度的索引。但是有更快的方法吗?

一个热码

找到这些值后,我会用一些独热编码器,我认为sklearn有一个。但最困难的部分是这个

愚蠢的方案

labels = [] 
for date in time: 
    labels.append(2*int(date[11:13]) + int(int(date[14:16])/30)) 

这将包含的值,然后一个可以做类似here

+0

你想获得的值映射到列表中的数据帧? – Dark

+0

是的,如果我正确理解你的问题。数据帧有一列叫'时间'。在这一栏中有日期和时间。我只关心一天的时间。我想将其用作回归中的一项功能。因此我需要将时间映射到某个数字。我希望这样做的方式是,您可以将该列转换/映射到相应的编号(例如,“00:30:00”到“1”),然后将此编号映射到单热编码器实例'[1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 ,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]' –

我认为你需要mapget_dummies

此外,它似乎是第一次0:00需要00:30 - 1所以使用range(48)

#convert to datetimes if necessary 
df['time'] = pd.to_datetime(df['time']) 

#create dictionary for map 
a = dict(zip(pd.date_range('2010-01-01', '2010-01-01 23:59:39', freq='30T').time, range(48))) 

#convert time column to times and map by dict 
df['a'] = df['time'].dt.time.map(a) 
print (df) 
        time a 
0 2017-03-01 15:30:00 31 
1 2017-03-01 16:00:00 32 
2 2017-03-01 16:30:00 33 
3 2017-03-01 17:00:00 34 
4 2017-03-01 17:30:00 35 
5 2017-03-01 18:00:00 36 
6 2017-03-01 18:30:00 37 
7 2017-03-01 19:00:00 38 
8 2017-03-01 19:30:00 39 
9 2017-03-01 20:00:00 40 
10 2017-03-01 20:30:00 41 
11 2017-03-01 21:00:00 42 
12 2017-03-01 21:30:00 43 
13 2017-03-01 22:00:00 44 

#for one hot encoding use get_dummies 
df1 = pd.get_dummies(df['time'].dt.time.map(a)) 
print (df1) 
    31 32 33 34 35 36 37 38 39 40 41 42 43 44 
0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 
1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 
2 0 0 1 0 0 0 0 0 0 0 0 0 0 0 
3 0 0 0 1 0 0 0 0 0 0 0 0 0 0 
4 0 0 0 0 1 0 0 0 0 0 0 0 0 0 
5 0 0 0 0 0 1 0 0 0 0 0 0 0 0 
6 0 0 0 0 0 0 1 0 0 0 0 0 0 0 
7 0 0 0 0 0 0 0 1 0 0 0 0 0 0 
8 0 0 0 0 0 0 0 0 1 0 0 0 0 0 
9 0 0 0 0 0 0 0 0 0 1 0 0 0 0 
10 0 0 0 0 0 0 0 0 0 0 1 0 0 0 
11 0 0 0 0 0 0 0 0 0 0 0 1 0 0 
12 0 0 0 0 0 0 0 0 0 0 0 0 1 0 
13 0 0 0 0 0 0 0 0 0 0 0 0 0 1 

编辑:

df1 = pd.get_dummies(df['time'].dt.time.map(a)).reindex(columns=range(48), fill_value=0) 
    0 1 2 3 4 5 6 7 8 9 ... 38 39 40 41 42 43 44 \ 
0 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 0 
1 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 0 
2 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 0 
3 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 0 
4 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 0 
5 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 0 
6 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 0 
7 0 0 0 0 0 0 0 0 0 0 ... 1 0 0 0 0 0 0 
8 0 0 0 0 0 0 0 0 0 0 ... 0 1 0 0 0 0 0 
9 0 0 0 0 0 0 0 0 0 0 ... 0 0 1 0 0 0 0 
10 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 1 0 0 0 
11 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 1 0 0 
12 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 1 0 
13 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 1 

    45 46 47 
0 0 0 0 
1 0 0 0 
2 0 0 0 
3 0 0 0 
4 0 0 0 
5 0 0 0 
6 0 0 0 
7 0 0 0 
8 0 0 0 
9 0 0 0 
10 0 0 0 
11 0 0 0 
12 0 0 0 
13 0 0 0 

[14 rows x 48 columns] 
+0

谢谢!那么你会怎么做一个热门的编码?因此,例如: '[1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0中,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 ,0]'为'00:30:00'即ie为'1' –

+1

我的解决方案呢? – Dark

+0

等待,我不明白你的解决方案的最后部分..为什么'31'(对应于'15:30:00'编码为'[1,0,0,0,0,0,0中,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 ,0,0,0,0,0,0,0,0,0,0,0,0,0,0],而应该编码'1',即'00:30:00'而'31'应该被编码为'[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 ,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0 ,0,0,0,0]' –

我认为这是你在找什么为例如

x =pd.date_range("00:30", "23:30", freq="30min",format="%HH:%MM").astype(str).str[-8:] 
maps = dict(zip(x,np.arange(1,48))) 
df['new'] = df['time'].astype(str).str[-8:].map(maps) 
pd.get_dummies(df['new']).set_index(df['time']) 

输出:

 
        31 32 33 34 35 36 37 38 39 40 41 42 43 44 
time                  
2017-03-01 15:30:00 1 0 0 0 0 0 0 0 0 0 0 0 0 0 
2017-03-01 16:00:00 0 1 0 0 0 0 0 0 0 0 0 0 0 0 
2017-03-01 16:30:00 0 0 1 0 0 0 0 0 0 0 0 0 0 0 
2017-03-01 17:00:00 0 0 0 1 0 0 0 0 0 0 0 0 0 0 
2017-03-01 17:30:00 0 0 0 0 1 0 0 0 0 0 0 0 0 0 
2017-03-01 18:00:00 0 0 0 0 0 1 0 0 0 0 0 0 0 0 
2017-03-01 18:30:00 0 0 0 0 0 0 1 0 0 0 0 0 0 0 
2017-03-01 19:00:00 0 0 0 0 0 0 0 1 0 0 0 0 0 0 
2017-03-01 19:30:00 0 0 0 0 0 0 0 0 1 0 0 0 0 0 
2017-03-01 20:00:00 0 0 0 0 0 0 0 0 0 1 0 0 0 0 
2017-03-01 20:30:00 0 0 0 0 0 0 0 0 0 0 1 0 0 0 
2017-03-01 21:00:00 0 0 0 0 0 0 0 0 0 0 0 1 0 0 
2017-03-01 21:30:00 0 0 0 0 0 0 0 0 0 0 0 0 1 0 
2017-03-01 22:00:00 0 0 0 0 0 0 0 0 0 0 0 0 0 1 
+0

但以这种方式,'31'在第一个条目中映射到列表'1',而不是' 30th' –

+0

那么这是基于你给出的样本数据。如果您的数据从0:00开始,则会自动更新 – Dark