python熊猫数据帧按日期条件切片

Question

我能够使用python datetime对象读取和分割熊猫数据框，但是我只能在索引中使用现有日期。例如，这个工程：

>>> data 
<class 'pandas.core.frame.DataFrame'> 
DatetimeIndex: 252 entries, 2010-12-31 00:00:00 to 2010-04-01 00:00:00 
Data columns: 
Adj Close 252 non-null values 
dtypes: float64(1) 

>>> st = datetime.datetime(2010, 12, 31, 0, 0) 
>>> en = datetime.datetime(2010, 12, 28, 0, 0) 

>>> data[st:en] 
      Adj Close 
Date     
2010-12-31  593.97 
2010-12-30  598.86 
2010-12-29  601.00 
2010-12-28  598.92 

但是，如果我使用的DF，我得到蟒蛇KeyError异常是不存在的开始或结束日期。

我的问题：如何查询数据框对象的日期范围;即使DataFrame中不存在开始日期和结束日期也是如此。熊猫是否允许基于范围的切片？

我使用熊猫版本0.10.1

Answer 1

使用searchsorted先找到最近的次，然后用它来切。

In [15]: df = pd.DataFrame([1, 2, 3], index=[dt.datetime(2013, 1, 1), dt.datetime(2013, 1, 3), dt.datetime(2013, 1, 5)]) 

In [16]: df 
Out[16]: 
      0 
2013-01-01 1 
2013-01-03 2 
2013-01-05 3 

In [22]: start = df.index.searchsorted(dt.datetime(2013, 1, 2)) 

In [23]: end = df.index.searchsorted(dt.datetime(2013, 1, 4)) 

In [24]: df.ix[start:end] 
Out[24]: 
      0 
2013-01-03 2 

Answer 2

简短的回答：您的数据排序（data.sort()），然后我想一切都会工作，你期待的方式。

是的，您可以使用不存在于DataFrame中的日期时间进行切片。例如：

In [12]: df 
Out[12]: 
        0 
2013-04-20 1.120024 
2013-04-21 -0.721101 
2013-04-22 0.379392 
2013-04-23 0.924535 
2013-04-24 0.531902 
2013-04-25 -0.957936 

In [13]: df['20130419':'20130422'] 
Out[13]: 
        0 
2013-04-20 1.120024 
2013-04-21 -0.721101 
2013-04-22 0.379392 

正如你所看到的，你甚至不必建立datetime对象;字符串工作。

因为索引中的日期时间不是顺序的，所以行为很奇怪。如果我们在这里洗牌我的例子指数...

In [17]: df 
Out[17]: 
        0 
2013-04-22 1.120024 
2013-04-20 -0.721101 
2013-04-24 0.379392 
2013-04-23 0.924535 
2013-04-21 0.531902 
2013-04-25 -0.957936 

...并采取相同的切片，我们得到了不同的结果。它返回范围内的第一个元素，并停止在范围外的第一个元素。

In [18]: df['20130419':'20130422'] 
Out[18]: 
        0 
2013-04-22 1.120024 
2013-04-20 -0.721101 
2013-04-24 0.379392 

这可能不是有用的行为。如果你想选择日期范围，首先按日期排序是否合理？

df.sort_index() 

Answer 3

您可以使用一个简单的面膜来实现：

date_mask = (data.index > start) & (data.index < end) 
dates = data.index[date_mask] 
data.ix[dates] 

顺便说一句，这个工程的分层索引为好。在这种情况下，data.index将替换为data.index.levels[0]或类似的。