pyspider使用问题-enable css selector helper取不到
使用pyspider 在去哪儿首页都可以使用 enable css selector helper按钮取到css 但是在每个游记 的详情页就取不到 为什么
date day who都为空
python extension packages : https://www.lfd.uci.edu/~gohlke/pythonlibs/
pyquery解析也学得不熟 点击按钮取不到 在html里面找选取元素的表达式 可能写错了 所以也取不到
安装pyspider需要先安装pcurl 开始python版本是3.9 应该匹配pycurl‑7.43.0.6‑cp39‑cp39‑win_amd64.whl
然而网站中没有 所以只有降python版本降到3.7 选择pycurl‑7.43.0.4‑cp37‑cp37m‑win_amd64.whl
出现下图 则运行成功(中间出了很多错)
在浏览器输入http://localhost:5000
点击results查看结果
如果要删除一个项目 将项目的状态设置为STOP 将分组设置为delete 24小时后会自动删除
了解更多 pyspider的官方文档 http://docs.pyspider.org/
pyspider [options] COMMAND [args]
crawl()方法中还有很多其他的参数