crontab与scrapy无法正常工作
问题描述:
我设置了crontab来执行scrapy脚本,但它不起作用。 然后我在终端尝试相同的命令。但它很好。crontab与scrapy无法正常工作
rankAuction
的crontab:
$ crontab -l
*/10 * * * * cd ~/PRG/tutorials/tutorials/spiders && scrapy crawl nodecrawler
我怎样才能解决这个问题呢?请回答这个问题
谢谢
答
检查您的Cron日志,看看怎么回事
grep CRON /var/log/syslog
你一定是Unknown command Scrapy
或类似的错误
我相信它,因为Scrapy
不在PATH
要修复它,请执行此操作
在你的终端类型echo $PATH
复制输出,然后进入crontab -l
现在,在该文件的顶部为此
PATH=<PASTE WHAT YOU COPIED IN LAST STEP>
(1)尽量用全路径,而不是使用'〜'sign(2)给定的路径是Scrapy项目的路径吗?因为'scrapy crawl'命令必须从那里启动。 –
尝试将命令改为'/ bin/bash -lc“cd〜/ PRG/tutorials/tutorials/spiders && scrapy抓取nodecrawler”>> /tmp/cron.log'并查看你在/ tmp/cron中得到了什么。日志'文件 –