您的位置: 首页 > 文章 > Scripy框架的介绍和使用 Scripy框架的介绍和使用 分类: 文章 • 2024-10-21 22:44:04 Scrapy框架的介绍 Scrapy是纯python的爬虫框架，专门用python语法爬取网络数据的，用户只需要定制几个模块，就可以轻易的实现抓取网页的内容 scrapy架构图 scrapy engine(引擎):接收所有其他组件返回的信号，再发送信号传递给其他组件，执行相关的功能。 scheduler(调度器)：负责接收引擎发来的request请求。再将请求传送给下载器，下载器下载东西，再传送给引擎。调度器在其中的作用很重要，可以去除重复，和调度请求。
