Python3—scrapyd服务部署爬虫项目
Python3—scrapyd服务部署爬虫项目
注意：Python2.7和Python3的配置不同，注意区分！！
目录
一、需要安装scrapyd==2.0 scrapyd-client==2.0a1
4.4、通过scrapyd-deploy命令测试scrapyd-deploy是否可用。
4.5、查看当前可用于部署到scrapyd服务中的爬虫有哪些。
4.6、命令scrapy list用来查看当前项目中，可用的爬虫。
4.12、打包爬虫项目到scrapyd服务（打包后）——同4.8（文档多做了一步！！！）
4.13、注意浏览器中查看（scrapyd提供了一个查看界面！）
一、需要安装scrapyd==2.0 scrapyd-client==2.0a1
命令：pip install scrapyd==1.2.0 pip install scrapyd-client==1.2.0a1
注意：如何查询最新版本 ==后面输入一个没有的版本运行，会报错同时会提示不同的版本！！
运行安装后，查看：
二、启动scrapyd服务
启动后不要关闭，要基于scrapyd服务来运行后面的部署和爬虫。（后面的命令新打开cmd窗口！！）
三、配置爬虫项目（scrapy.cfg文件中配置）
四、开始向scrapyd中部署项目
4.1、新打开cmd窗口执行命令！
4.2、进入scrapy：workon scrapy的名字
4.3、进入需要部署的项目根目录：cd 根目录地址
4.4、通过scrapyd-deploy命令测试scrapyd-deploy是否可用。
命令：scrapyd-deploy
4.5、查看当前可用于部署到scrapyd服务中的爬虫有哪些。
命令：scrapyd-deploy -l
参数1： [deploy: jobbole]
参数2： scrapy.cfg文中中的url
4.6、命令scrapy list用来查看当前项目中，可用的爬虫。
命令：scrapy list
可能会报错：
4.7、列举scrapyd服务中已经部署的爬虫项目：
命令：curl http://localhost:6800/listprojects.json
两种情况：没有项目 ， 有项目
注意：cmd运行时可能会报错——curl不是内部文件..，解决方式网址:
https://www.cnblogs.com/zhuzhenwei918/p/6781314.html（依照操作下载解压缩到相应的位置如下图，配置就OK！）
4.8、上传项目（重点）：
命令：scrapyd-deploy jobbole –p bole
注意：区分两个名字；自定义上传后的名字是后面主要使用的！
status: 上传至scrapyd的状态
project： 上传的项目名称
version: 此次上传项目的版本号，因为项目可以多次打包上传，每次上传都会有不同的版本号
spiders: 该项目中包含的爬虫个数
4.9、查询当前项目中的爬虫个数
命令：curl http://localhost:6800/listspiders.json?project=bole
注意：结果中的名字是一个爬虫文件有多个爬虫项目name=’ ’中的名字！！
4.10、启动爬虫
命令：curl http://localhost:6800/schedule.json -d project=bole -d spider=bole
4.11、关闭（取消）爬虫
命令：curl http://localhost:6800/cancel.json -d project=bole -d job=53cf9f428a6911e88b11005056c00008
上述几步可能会有一个错误如下图（尝试下面的解决办法！！）：
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
4.12、打包爬虫项目到scrapyd服务（打包后）——同4.8（文档多做了一步！！！）
命令：scrapyd-deploy jobbole -p testbole
注意：jobbole是[deploy:jobbole]
testbole是自定义的
4.13、注意浏览器中查看（scrapyd提供了一个查看界面！）
4.14、其他操作api（删除项目），查看官方文档
地址：https://scrapyd.readthedocs.io/en/latest/api.html#