scrapy 安装及创建一个scrapy项目

1.安装

如果装了annaconda的话,打开命令行窗口,输入 conda install scrapy 即可

如果没有安装,则需要先下载对应版本Twisted插件  下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

scrapy 安装及创建一个scrapy项目

下载好之后,打开命令行终端, pip install  将下载好的whl文件直接拖到命令行终端即可,然后回车即可

scrapy 安装及创建一个scrapy项目

安装好Twisted插件之后,安装scrapy       pip install scrapy 

测试scrapy是否安装成功,如下图所示:在命令行输入 scrapy  如果出现scrapy的版本信息和介绍信息,表示安装成功

scrapy 安装及创建一个scrapy项目

2.使用scrapy

创建scrapy项目,首先创建一个文件夹,scrapy项目会存放在这个文件夹中,然后打开终端命令行,cd 到创建好的文件夹目录下,输入  scrapy startproject Test   即可创建scrapy项目,Test是项目名称,可以自定义。创建好的scrapy项目目录结构如下图所示:

scrapy 安装及创建一个scrapy项目

接下来创建爬虫程序,在终端命令行中 cd 到spiders文件路径下,输入命令   scrapy genspider baidu_spider "www.baidu.com"

其中baidu_spider就是我们要创建的爬虫程序名,"www.baidu.com"是我们要爬取的域名范围,规定只爬取这个域名下的网页数据,创建完成后,spiders目录下就会出现一个baidu_spider.py这样一个文件,文件中默认会有以下内容:

scrapy 安装及创建一个scrapy项目

如此,一个scrapy项目就创建完成了,后续使用方法,我会在使用之后再做分享。

在知乎上看到一片scrapy入门教程,介绍的很详细,推荐刚入门的朋友看一下,

链接地址:https://zhuanlan.zhihu.com/p/24669128