使用gerapy部署scrapyd爬虫项目
安装gerapy
pip install gerapy
安装完成后,新建文件夹命名为test,在文件夹内按shift+鼠标右键打开管理员命令 命令窗口输入gerapy
在命令行中输入gerapy init
执行后会在test文件夹内创建一个project文件夹
输入cd gerapy进入gerapy文件夹内,然后再输入
这一步就是为了穿件db.sqlite3这个文件
然后输入gerapy runserver启动gerapy服务
这表示服务已启动。
在浏览器中输入127.0.0.1:8000,就进入了gerapy可视化的界面
点击主机管理,点击界面右上角的创建按钮
名称随便输入,ip填写本机ip或者127.0.0.1或者要配置电脑的ip,端口为6800
回到主机管理里面发现状态为错误,这是因为我们未开启scrapyd服务。
这需要重新开启一个命令行输入scrapyd,启动scrapyd服务即可。
后台保持scrapyd和gerapy服务的cmd命令运行。
点击项目管理,点击右上角的创建,输入名称后返回项目管理页面,点击部署按钮,然后将scrapyd爬虫文件,放入创建过得文件夹tes/gerpay/projectst内。
然后点击可视化界面的打包按钮
然后点击部署,进入主机管理页面,点击调度,点击运行,运行爬虫项目,抓取数据,保存到数据库即可。
以上就是gerapy使用的方法