python 修改scrapy结束时显示开始时间,结束时间,添加耗费时间
scrapy运行结束后都会显示一堆信息,原来里面是有时间的,但是!
那个时间是用utc的(0时区),不是我们平时用的,而且还没有运行时间,所以我翻了下,改了代码,感觉还行!
修改后的代码为
def spider_opened(self, spider): self.start=time.time() start_time=time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(self.start)) #转化格式 self.stats.set_value('start_time', start_time, spider=spider) def spider_closed(self, spider, reason): self.end = time.time() finish_time = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(self.end)) #转化格式 self.stats.set_value('finish_time', finish_time, spider=spider) self.stats.set_value('finish_reason', reason, spider=spider) #这是计算此时运行耗费多长时间,特意转化为 时:分:秒 Total_time=self.end-self.start m, s = divmod(Total_time, 60) h, m = divmod(m, 60) self.stats.set_value('Total_time', "共耗时===>%d时:%02d分:%02d秒" % (h, m, s), spider=spider)
效果如下,还OK