Scrapy 框架

（本文仅用作个人记录）

-  Scrapy框架是用纯python实现一个为了爬去网站数据，提取结构性数据而编写的应用框架，用途非常广泛。

- Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。

Scrapy 架构图

Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，

Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，

Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.

Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。

Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

Scrapy的运行流程：

1.引擎：Hi！Spider, 你要处理哪一个网站？

2.Spider：老大要我处理xxxx.com。

3.引擎：你把第一个需要处理的URL给我吧。

4.Spider：给你，第一个URL是xxxxxxx.com。

5.引擎：Hi！调度器，我这有request请求你帮我排序入队一下。

6.调度器：好的，正在处理你等一下。

7.引擎：Hi！调度器，把你处理好的request请求给我。

8.调度器：给你，这是我处理好的request

9.引擎：Hi！下载器，你按照老大的下载中间件的设置帮我下载一下这个request请求

10.下载器：好的！给你，这是下载好的东西。（如果失败：sorry，这个request下载失败了。然后引擎告诉调度器，这个request下载失败了，你记录一下，我们待会儿再下载）

11.引擎：Hi！Spider，这是下载好的东西，并且已经按照老大的下载中间件处理过了，你自己处理一***意！这儿responses默认是交给def parse()这个函数处理的）

12.Spider：（处理完毕数据之后对于需要跟进的URL），Hi！引擎，我这里有两个结果，这个是我需要跟进的URL，还有这个是我获取到的Item数据。

13.引擎：Hi ！管道 我这儿有个item你帮我处理一下！调度器！这是需要跟进URL你帮我处理下。然后从第四步开始循环，直到获取完老大需要全部信息。

14.管道``调度器：好的，现在就做！

（只有当调度器中不存在任何request时，整个程序才会停止，对于下载失败的URL，Scrapy会重新下载。）

制作Scapy爬虫的步骤：

新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目

明确目标 （编写items.py）：明确你想要抓取的目标

制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页

存储内容 （pipelines.py）：设计管道存储爬取内容 

Scrapy实例：

我们要爬取的网站为：http://quotes.toscrape.com/，这是一个英文版的名人名言网站。如下图所示。

1.新建项目：

进入任意一个文件夹，直接使用scrapy命令生成项目：

scrapy stratproject tutorial

命令将会创建一个tutorial 文件夹，文件夹结构如下图所示。

----scrapy.cfg                            #Scrapy部署时的配置文件

----tutorial

    ---------__init__.py                #里面内容为空，但必须要有，不可删除

    ---------items.py                    #Items的定义，定义爬取的数据结构

    ---------middlewares.py        #定义爬取时的中间件

    ---------pipelines.py              #定义数据管道

    ---------settings.py                #配置文件

    ---------spiders文件夹            #放置Spiders的文件夹

进入tutorial文件夹，生成爬虫：

scrapy genspider quotes quotes.toscrape.com

(genspider 第一个参数是Spider的名称，第二个参数是指定爬取域的范围)

执行完毕之后，spiders文件夹下多了一个quotes.py

2.明确目标：创建Item

打开 items.py

我们要抓取该网站的 名言文本，作者以及标签。

所以items.py 修改如下：

注意定义的类名为 QuotesItem,且需要继承scrapy.Item类。

3.制作爬虫

打开spiders 文件夹下的quotes.py

初始内容如下：

name：每个项目唯一的名字

allowed_domains ：允许爬取的域名，如果初始或者后续的请求链接不是这个域名下的，则请求链接会被过滤掉

start_urls ：起始url，第一个请求链接

parse() ：解析方法，当下载器完成请求之后，返回的响应就是该方法的response 参数。该方法负责解析返回的响应、提取数据或者生成下一步请求。

根据对网页结构的分析，我们使用css选择器提取数据。结果如下。

next 是用来获取下一页的链接。

对于后续请求，我们构造请求需要用到 scrapy.Request。这里传递两个参数，url和callback。

url是请求链接，callback 是回调函数。当指定了该回调函数的请求完成之后，获取到相应，引擎会将该响应作为参数传递给这个回调函数。回调函数进行解析或者生成下一步请求。这里的回调函数仍然使用parse进行解析。这样爬虫就进入了一个循环。

最后使用yield 返回该请求：yield scrapy.Request(url=url, callback=self.parse)

理论上，此爬虫程序已经可以完成爬取，但是我们没有将爬取结果保存下来，爬取内容只会在终端显示。我们需要把爬取结果保存到数据库。

4.存储结果

如果只是保存到文件，我们可以不需要编写任何文件，只需要执行爬虫程序时 在后面加上 

- o  quotes.json

完整命令：scrapy crwal quotes -o quotes.json

那么在tutorial 文件夹下就多处一个 quotes.json 文件。

如果保存到数据库，就需要编写pipelines.py 文件。

"""

Item Pipeline 为项目管道，当Item生成后，它会自动被送到ItemPipeline进行处理，

常用来：

清理HTml数据

验证爬取数据

查重去重

保存到数据库

"""

实现Item Pipeline很简单，只需实现 process_item(self, item, spider) 方法即可。Item Pipeline启动之后会自动调用这个方法。process_item 方法必须返回包含数据的字典或者Item对象，或者抛出 DropItem 异常。

接下来我们实现 筛选掉text长度大于100的Item，并将结果保存到MySQL数据库。

TutorialPipelin 类的 process_item 方法已经实现了筛选的功能。

要实现保存到数据的功能，我们还需要自己定义一个类---MySQLPipeline 类名可以随意取。

定义好这两个类之后，需要在settings.py 中使用他们。

启用 ITEM_PIPELINES 配置，注意要类名一致。键值为优先级，数字越小优先级越高。

之后，命令行执行  scrapy crawl quotes，可以看到一些scrapy的执行情况。

最后打开数据库，看一下保存情况。需要提前建好表。

至此，我们就已经完成了Quotes网站的Scrapy抓取的简单入门。

PS:

from  scrapy.utils.project  import  get_project_settings

self.host = get_project_settings.get("MYSQL_HOST")

这个方法也可以从settings.py里面获取全局配置信息。