python之scrapy安装(python3.6*64位)
用python自带的urllib库能写一些简单的爬虫,这里给大家推荐一个牛逼的框架,叫做scrapy,但是这个东东安装起来难受的要死,昨天整了一天才弄好。。。。。。
首先,你要在电脑上安装python(这个怎么安装我就不说了,这个不会安装,就不用学了。。。。。)
第一步:在你的cmd中输入 pip3 install scrapy
百分之百报错,哈哈,先坑你们一下
第二步:安装lxml
pip3 install lxml
第三步:安装pywin32
这个东东去网站自行下载就行 一定要找对版本号。。。。。
第四部:安装twisted
传送门:http://www.lfd.uci.edu/~gohlke/pythonlibs/
这个网站最好用EDGE或者IE浏览器打开。。。。。。
一定要找准版本号我用的是这个 Twisted-18.4.0-cp36-cp36m-win_amd64.whl
36代表python3.6版本呢 64指的是电脑是64位的
安装twisted的时候,有可能会报错,我遇到的错误是超时了,前面得加上
pip3 --default-timeout=100 install -u C:/python/ Twisted-18.4.0-cp36-cp36m-win_amd64.whl
第五步:安装scrapy
pip3 install scrapy
如果安装成功了,一定要重启cmd,在cmd中输入scrapy,如果出现下图的东东,那么恭喜你,安装成功。