Python下scrapy框架的安装
我们会在爬虫的过程中运用到scrapy,今天就分享一下自己下载和运用scrapy的一些经验和心得
在刚开始接触scrapy时候,在网上查询了许多关于scrapy 的下载和安装的方法,受到了许多的启发,同时也帮助了自己解决了问题,总结了一些关于scrapy的下载和安装的经验
最简单的安装方法是在中断输入pip install scrapy
这种方式不能成功的话,就换下面这一种方式
1、直接使用pip install scrapy安装不成功可以安装whl格式的包 首先下载scrapy的whl包
下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/
打开以后,在网页中以ctrl + f 的方式查找scrapy,并找到
Scrapy‑1.3.3‑py2.py3‑none‑any.whl
并且下载
2.安装whl格式包需要安装wheel库,可以直接使用pip install wheel安装wheel
3.在同样的网址
下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/
中通过相同的方式搜索找到twisted找到
Twisted‑17.1.0‑cp36‑cp36m‑win_amd64.whl
并下载
4.下载完成后使用cmd打开windows的命令行窗口,进入whl包所在的文件夹执行如下命令
pip install [whl]
Scrapy-1.3.3-py2.py3-none-any.whl包使用同样的方式安装,只是应该等到其所有依赖的包安装完成后才能进行安装,现在还不能安装
scrapy依赖lxml包,需要先安装lxml包
所有准备工作做完,安装scrapy包了,进入Scrapy-1.3.3-py2.py3-none-any.whl所在的目录
5.验证,在中端输入scrapy得到如下内容证明安装成功