一分钟了解scrapy流程
scrapy 框架流程图
我们就按照这张图进行详解
spiders 将URL发送到引擎，然后在经过调度器，调度器对引擎发过来的requests按照一定的方式整理队列 然后返回给引擎，引擎又将request扔给downloader，downloader进行请求，将返回来的response返回给引擎，然后在经过spiders，进行解析，然后在经过item pipelines对数据进行存储
scrapy 框架流程图
我们就按照这张图进行详解
spiders 将URL发送到引擎，然后在经过调度器，调度器对引擎发过来的requests按照一定的方式整理队列 然后返回给引擎，引擎又将request扔给downloader，downloader进行请求，将返回来的response返回给引擎，然后在经过spiders，进行解析，然后在经过item pipelines对数据进行存储