Python3爬虫之Scrapy框架的下载器中间件
Python爬虫之Scrapy框架的下载器中间件
基本介绍
下载器中间键可以为我们设置多个代理ip与请求头，达到反反爬虫的目的
下面是scrapy为我们创建好的中间件的类
下面是中间件中的下载器函数，我们主要在这个函数里面进行操作
Process_request(self,request,spider)
-
参数
request:发送请求的request对象
spider:发送请求的spider对象
-
此方法若返回None，Scrapy将继续处理此Request，直到 其他下载器中间件被调用
-
此方法若返回Response对象：不再返回下载器，直接返回给引擎
-
返回Request对象：使用现在返回的Request
图解
Process_response(self,request,response,spider):
- 参数
request: request对象
response:被处理的response对象
- 返回值
返回response对象：会将这个对象按序传给其他中间件，最终经过引擎给到爬虫
返回request对象：下载器链接切断，返回的request重新被下载器调度，最终经过引擎给到爬虫
返回request对象：下载器链接切断，返回的request重新被下载器调度
##中间件应用
Python系列****博客地址：
如需更系统学习，下面是博主关于Python爬虫的系列学习博客