scrapyd部署(远程管理爬虫项目)

1. 需要安装scrapyd=1.2.0     scrapyd-client=1.2.0a1

首先进入虚拟环境

scrapyd部署(远程管理爬虫项目)

 scrapyd部署(远程管理爬虫项目)

2. 启动scrapyd服务

scrapyd部署(远程管理爬虫项目)

3.  配置爬虫项目:

scrapyd部署(远程管理爬虫项目)

 4.开始向scrapyd中部署

scrapyd部署(远程管理爬虫项目)

 查看当前可用于部署到scrapyd 服务中的爬虫有哪些

参数1:[deploy:jobbole]

参数2:scrapy.cfg文件中的url

scrapyd部署(远程管理爬虫项目)

 命令scrapy list 用来查看当前项目中可用的项目

scrapyd部署(远程管理爬虫项目)

 scrapyd部署(远程管理爬虫项目)

 参数:

scrapyd部署(远程管理爬虫项目)

部署成功

scrapyd部署(远程管理爬虫项目)

 

 

列举scrapyd已经部署的爬虫项目

scrapyd部署(远程管理爬虫项目)

如果提示不能运行curl命令则需要安装cmder来运行

(curl配置说明:https://www.cnblogs.com/zhuzhenwei918/p/6781314.html

scrapyd部署(远程管理爬虫项目)

 查看项目信息:

scrapyd部署(远程管理爬虫项目)

 删除项目:

scrapyd部署(远程管理爬虫项目)

 启动爬虫:

scrapyd部署(远程管理爬虫项目)

在网页查看

scrapyd部署(远程管理爬虫项目)

scrapyd部署(远程管理爬虫项目)

 取消任务的执行:

scrapyd部署(远程管理爬虫项目)

命令可以在文档查看

scrapyd部署(远程管理爬虫项目)

 scrapyd部署(远程管理爬虫项目)