scrapy项目的目录结构
scrapy项目的目录结构
在一个工程里,创建Scrapy框架的项目需要使用命令:scrapy startproject 项目名
创建成功后会出现以下划红方框的目录结构:
spiders:存储爬虫代码目录
__init__.py:爬虫项目的初始化文件,用来对项目做初始化工作。
items.py:爬虫项目的数据容器文件,用来定义要获取的数据。保存数据
pipelines.py:爬虫项目的管道文件,用来对items中的数据进行进一步的加工处理。
settings.py:爬虫项目的设置文件,包含了爬虫项目的设置信息。
middlewares.py:爬虫项目的中间件文件。
scrapy.cfg:爬虫项目的配置文件。