scrapy项目的目录结构

scrapy项目的目录结构

在一个工程里,创建Scrapy框架的项目需要使用命令:scrapy startproject  项目名

创建成功后会出现以下划红方框的目录结构:

scrapy项目的目录结构

spiders:存储爬虫代码目录

__init__.py:爬虫项目的初始化文件,用来对项目做初始化工作。

 items.py:爬虫项目的数据容器文件,用来定义要获取的数据。保存数据

 pipelines.py:爬虫项目的管道文件,用来对items中的数据进行进一步的加工处理。

settings.py:爬虫项目的设置文件,包含了爬虫项目的设置信息。

middlewares.py:爬虫项目的中间件文件。

scrapy.cfg:爬虫项目的配置文件。