python之scrapy安装(python3.6*64位)

用python自带的urllib库能写一些简单的爬虫,这里给大家推荐一个牛逼的框架,叫做scrapy,但是这个东东安装起来难受的要死,昨天整了一天才弄好。。。。。。

首先,你要在电脑上安装python(这个怎么安装我就不说了,这个不会安装,就不用学了。。。。。)

第一步:在你的cmd中输入 pip3 install scrapy

百分之百报错,哈哈,先坑你们一下

第二步:安装lxml

pip3 install lxml

python之scrapy安装(python3.6*64位)

第三步:安装pywin32

这个东东去网站自行下载就行 一定要找对版本号。。。。。

第四部:安装twisted

传送门:http://www.lfd.uci.edu/~gohlke/pythonlibs/

这个网站最好用EDGE或者IE浏览器打开。。。。。。

一定要找准版本号我用的是这个 Twisted-18.4.0-cp36-cp36m-win_amd64.whl

36代表python3.6版本呢  64指的是电脑是64位的

安装twisted的时候,有可能会报错,我遇到的错误是超时了,前面得加上

 pip3 --default-timeout=100  install -u C:/python/ Twisted-18.4.0-cp36-cp36m-win_amd64.whl

第五步:安装scrapy

pip3 install scrapy

如果安装成功了,一定要重启cmd,在cmd中输入scrapy,如果出现下图的东东,那么恭喜你,安装成功。

python之scrapy安装(python3.6*64位)