在Scrapy框架中创建爬虫项目运行爬虫和配置下载图片
本文讲解在 Scrapy下创建爬虫项目,以下是创建步骤,创建实例见底部附录
创建项目步骤
1. 打开cmd命令行工具,输入scrapy startproject 项目名称(有虚拟环境先进入虚拟环境)
2. 使用pycharm打开项目,查看项目目录
3. 创建爬虫,打开CMD,cd命令进入到爬虫项目文件夹,输入scrapy genspider 爬虫文件名 爬虫基础域名
4. 打开pycharm,发现spider目录下多出一个bole.py文件
5. 运行爬虫
配置下载文件步骤
1. Item下载图片的属性必须是列表
2.Settings文件中设置以下三个值
附录: 以下是创建项目名为 ivsky_picture 的天堂图片网scrapy完整步骤(在虚拟环境下完成创建)