scrapyd部署(远程管理爬虫项目)
1. 需要安装scrapyd=1.2.0 scrapyd-client=1.2.0a1
首先进入虚拟环境
2. 启动scrapyd服务
3. 配置爬虫项目:
4.开始向scrapyd中部署
查看当前可用于部署到scrapyd 服务中的爬虫有哪些
参数1:[deploy:jobbole]
参数2:scrapy.cfg文件中的url
命令scrapy list 用来查看当前项目中可用的项目
参数:
部署成功
列举scrapyd已经部署的爬虫项目
如果提示不能运行curl命令则需要安装cmder来运行
(curl配置说明:https://www.cnblogs.com/zhuzhenwei918/p/6781314.html)
查看项目信息:
删除项目:
启动爬虫:
在网页查看
取消任务的执行:
命令可以在文档查看