基于scrapy_redis的分布式爬虫
1.安装scrapy_redis包,打开cmd工具,执行命令pip install scrapy_redis。
2.准备好一个没有BUG,没有报错的爬虫项目。
3.打开该项目,找到settings文件,配置scrapy项目使用的调度器及过滤器
4. 修改spider爬虫文件
5. 如果连接的有远程服务,例如MySQL,Redis等,需要将远程服务连接开启,保证在其他主机上能够成功连接
6.配置远程连接的MySQL及redis地址
7.把项目拷贝到多台服务器中，把所有爬虫项目都跑起来
8.在主redis-cli中lpush你的网址即可