scrapy-pipelines

前面是调用scapy的本地化存储

我们来自己写一发

打开

先初始化

记得关闭

存储

使能

右边是优先级，越小优先级越高

运行

结果

结果不对经？那是必须的，因为我爬的有点频繁，被禁了啊

不过写文件那是必须成功的，这个是之前写的

被禁了怎么办？

这不是爬了好多代理了么，用代理中间件，找替死鬼

反正封禁的不会是我了

其实也不一定要file，和spider不一定用xpath一样，你可以换方式

mysql啥的都可以