python scrapy部署scrapyd

scrapyd是一个部署scrapy spiders的应用，它可以使用ison API部署工程，并控制spider。

scrapyd可以部署多个工程，每个工程都可以有多个版本，但只运行最新的那个版本。

1.scrapyd安装

首先配置scrapy：1.0.3，Twisted：15.4.0，python：2.7.9 ,pip

pip install scrapyd

安装完成之后，检查是否能够启动scrapyd，在cmd的命令窗口中直接输入scrapyd

可以找到启动的端口号，一般为6800。

然后在浏览器中输入localhost:6800

2.scrapyd-client安装

scrapyd-client为上传工具。

安装方法：pip install scrapyd-client

上传方法：

python d:\Python2.7\Scripts\scrapyd-deploy target -p project

target   --  主机地址，如localhost；

project   --  工程名，如stock_uc;

前提：

1.假设python安装位置d:\Python2.7\;

2.徐晋如工程目录执行上传命令。

3.安装调度工具curl

linux系统自带，windows系统下安装：

4.调度爬虫

（1）添加版本信息：curl http://localhost:6800/addversion.json -F project=myproject -F version=r23 -F [email protected]

         其中F为参数，myproject为对应的工程名，version位版本号，后面的一串为对应的包

（2）调度spider执行：curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider

（3）取消spider执行：curl http://localhost:6800/cancel.json -d project=myproject -d job=6487ec79947edab326d6db28a2d8651

（4）列出工程：curl http://localhost:6800/listprojects.json

以上内容纯手打，不喜勿喷。