scrapy安装和一些简单的使用
Scrapy安装相关依赖包
如果要安装scrapy应需要安装一下的依赖包
安装lxml库
Lxml pip install lxml
安装Twisted 如果pip install Twisted 无效可以 使用下面的方法。
先安装wheel文件然后再这个下载链接:https://www.lfd.uci.edu/~gohlke/pythonlibs/下载Twisted的wheel文件
然后 打开cmd 输入pip install Twisted的wheel文件的路径/Twisted-18.7.0-cp35-cp35m-win_amd64.whl
当Twisted安装好之后,可以安装scrapy包了。
除此之外上述的方法,还可以通过pycharm中file下的setting来添加上述的包,建议可以把以前的python库和环境都删了,然后重新在pycharm上一个个通过这种方法安装。
下面一些方法是一些scrapy的常用命令:
python -m scray version 检查scrapy的版本以及是否安装。
scrapy startproject [xiangmuming ]
然后在pycharm中打开相应路径下的爬虫项目