的Python:numpy的和熊猫转化时间戳/数据到一个热编码-
我有一个数据帧是这样的Python:numpy的和熊猫转化时间戳/数据到一个热编码-
time
0 2017-03-01 15:30:00
1 2017-03-01 16:00:00
2 2017-03-01 16:30:00
3 2017-03-01 17:00:00
4 2017-03-01 17:30:00
5 2017-03-01 18:00:00
6 2017-03-01 18:30:00
7 2017-03-01 19:00:00
8 2017-03-01 19:30:00
9 2017-03-01 20:00:00
10 2017-03-01 20:30:00
11 2017-03-01 21:00:00
12 2017-03-01 21:30:00
13 2017-03-01 22:00:00
.
.
.
我想“编码”所述一天中的时间的一个列。我想通过首先每半个小时分配一个整数来做到这一点。从
00:30:00 --> 1
01:00:00 --> 2
01:30:00 --> 3
02:00:00 --> 4
02:30:00 --> 5
等等。因此我们会有48
号码(因为有24小时)。我想找到将我的列转换为包含这些值的列表/列的最快方式。
到目前为止,我可以做到这一点的价值。例如
2*int(timeDF.iloc[0][11:13]) + int(int(timeDF.iloc[0][14:16])/30)
会将15:30:00
转换成31
。
我想我可以通过循环做到这一点,而不是使用0
我使用循环遍历列的长度的索引。但是有更快的方法吗?
一个热码
找到这些值后,我会用一些独热编码器,我认为sklearn有一个。但最困难的部分是这个
愚蠢的方案
labels = []
for date in time:
labels.append(2*int(date[11:13]) + int(int(date[14:16])/30))
这将包含的值,然后一个可以做类似here
我认为你需要map
与get_dummies
。
此外,它似乎是第一次0:00
需要0
,0:30
- 1
所以使用range(48)
#convert to datetimes if necessary
df['time'] = pd.to_datetime(df['time'])
#create dictionary for map
a = dict(zip(pd.date_range('2010-01-01', '2010-01-01 23:59:39', freq='30T').time, range(48)))
#convert time column to times and map by dict
df['a'] = df['time'].dt.time.map(a)
print (df)
time a
0 2017-03-01 15:30:00 31
1 2017-03-01 16:00:00 32
2 2017-03-01 16:30:00 33
3 2017-03-01 17:00:00 34
4 2017-03-01 17:30:00 35
5 2017-03-01 18:00:00 36
6 2017-03-01 18:30:00 37
7 2017-03-01 19:00:00 38
8 2017-03-01 19:30:00 39
9 2017-03-01 20:00:00 40
10 2017-03-01 20:30:00 41
11 2017-03-01 21:00:00 42
12 2017-03-01 21:30:00 43
13 2017-03-01 22:00:00 44
#for one hot encoding use get_dummies
df1 = pd.get_dummies(df['time'].dt.time.map(a))
print (df1)
31 32 33 34 35 36 37 38 39 40 41 42 43 44
0 1 0 0 0 0 0 0 0 0 0 0 0 0 0
1 0 1 0 0 0 0 0 0 0 0 0 0 0 0
2 0 0 1 0 0 0 0 0 0 0 0 0 0 0
3 0 0 0 1 0 0 0 0 0 0 0 0 0 0
4 0 0 0 0 1 0 0 0 0 0 0 0 0 0
5 0 0 0 0 0 1 0 0 0 0 0 0 0 0
6 0 0 0 0 0 0 1 0 0 0 0 0 0 0
7 0 0 0 0 0 0 0 1 0 0 0 0 0 0
8 0 0 0 0 0 0 0 0 1 0 0 0 0 0
9 0 0 0 0 0 0 0 0 0 1 0 0 0 0
10 0 0 0 0 0 0 0 0 0 0 1 0 0 0
11 0 0 0 0 0 0 0 0 0 0 0 1 0 0
12 0 0 0 0 0 0 0 0 0 0 0 0 1 0
13 0 0 0 0 0 0 0 0 0 0 0 0 0 1
编辑:
df1 = pd.get_dummies(df['time'].dt.time.map(a)).reindex(columns=range(48), fill_value=0)
0 1 2 3 4 5 6 7 8 9 ... 38 39 40 41 42 43 44 \
0 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 0
1 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 0
2 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 0
3 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 0
4 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 0
5 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 0
6 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 0
7 0 0 0 0 0 0 0 0 0 0 ... 1 0 0 0 0 0 0
8 0 0 0 0 0 0 0 0 0 0 ... 0 1 0 0 0 0 0
9 0 0 0 0 0 0 0 0 0 0 ... 0 0 1 0 0 0 0
10 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 1 0 0 0
11 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 1 0 0
12 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 1 0
13 0 0 0 0 0 0 0 0 0 0 ... 0 0 0 0 0 0 1
45 46 47
0 0 0 0
1 0 0 0
2 0 0 0
3 0 0 0
4 0 0 0
5 0 0 0
6 0 0 0
7 0 0 0
8 0 0 0
9 0 0 0
10 0 0 0
11 0 0 0
12 0 0 0
13 0 0 0
[14 rows x 48 columns]
谢谢!那么你会怎么做一个热门的编码?因此,例如: '[1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0中,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 ,0]'为'00:30:00'即ie为'1' –
我的解决方案呢? – Dark
等待,我不明白你的解决方案的最后部分..为什么'31'(对应于'15:30:00'编码为'[1,0,0,0,0,0,0中,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 ,0,0,0,0,0,0,0,0,0,0,0,0,0,0],而应该编码'1',即'00:30:00'而'31'应该被编码为'[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 ,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0 ,0,0,0,0]' –
我认为这是你在找什么为例如
x =pd.date_range("00:30", "23:30", freq="30min",format="%HH:%MM").astype(str).str[-8:]
maps = dict(zip(x,np.arange(1,48)))
df['new'] = df['time'].astype(str).str[-8:].map(maps)
pd.get_dummies(df['new']).set_index(df['time'])
输出:
31 32 33 34 35 36 37 38 39 40 41 42 43 44 time 2017-03-01 15:30:00 1 0 0 0 0 0 0 0 0 0 0 0 0 0 2017-03-01 16:00:00 0 1 0 0 0 0 0 0 0 0 0 0 0 0 2017-03-01 16:30:00 0 0 1 0 0 0 0 0 0 0 0 0 0 0 2017-03-01 17:00:00 0 0 0 1 0 0 0 0 0 0 0 0 0 0 2017-03-01 17:30:00 0 0 0 0 1 0 0 0 0 0 0 0 0 0 2017-03-01 18:00:00 0 0 0 0 0 1 0 0 0 0 0 0 0 0 2017-03-01 18:30:00 0 0 0 0 0 0 1 0 0 0 0 0 0 0 2017-03-01 19:00:00 0 0 0 0 0 0 0 1 0 0 0 0 0 0 2017-03-01 19:30:00 0 0 0 0 0 0 0 0 1 0 0 0 0 0 2017-03-01 20:00:00 0 0 0 0 0 0 0 0 0 1 0 0 0 0 2017-03-01 20:30:00 0 0 0 0 0 0 0 0 0 0 1 0 0 0 2017-03-01 21:00:00 0 0 0 0 0 0 0 0 0 0 0 1 0 0 2017-03-01 21:30:00 0 0 0 0 0 0 0 0 0 0 0 0 1 0 2017-03-01 22:00:00 0 0 0 0 0 0 0 0 0 0 0 0 0 1
但以这种方式,'31'在第一个条目中映射到列表'1',而不是' 30th' –
那么这是基于你给出的样本数据。如果您的数据从0:00开始,则会自动更新 – Dark
你想获得的值映射到列表中的数据帧? – Dark
是的,如果我正确理解你的问题。数据帧有一列叫'时间'。在这一栏中有日期和时间。我只关心一天的时间。我想将其用作回归中的一项功能。因此我需要将时间映射到某个数字。我希望这样做的方式是,您可以将该列转换/映射到相应的编号(例如,“00:30:00”到“1”),然后将此编号映射到单热编码器实例'[1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 ,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]' –