scrapy 安装及创建一个scrapy项目
1.安装
如果装了annaconda的话,打开命令行窗口,输入 conda install scrapy 即可
如果没有安装,则需要先下载对应版本Twisted插件 下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
下载好之后,打开命令行终端, pip install 将下载好的whl文件直接拖到命令行终端即可,然后回车即可
安装好Twisted插件之后,安装scrapy pip install scrapy
测试scrapy是否安装成功,如下图所示:在命令行输入 scrapy 如果出现scrapy的版本信息和介绍信息,表示安装成功
2.使用scrapy
创建scrapy项目,首先创建一个文件夹,scrapy项目会存放在这个文件夹中,然后打开终端命令行,cd 到创建好的文件夹目录下,输入 scrapy startproject Test 即可创建scrapy项目,Test是项目名称,可以自定义。创建好的scrapy项目目录结构如下图所示:
接下来创建爬虫程序,在终端命令行中 cd 到spiders文件路径下,输入命令 scrapy genspider baidu_spider "www.baidu.com"
其中baidu_spider就是我们要创建的爬虫程序名,"www.baidu.com"是我们要爬取的域名范围,规定只爬取这个域名下的网页数据,创建完成后,spiders目录下就会出现一个baidu_spider.py这样一个文件,文件中默认会有以下内容:
如此,一个scrapy项目就创建完成了,后续使用方法,我会在使用之后再做分享。
在知乎上看到一片scrapy入门教程,介绍的很详细,推荐刚入门的朋友看一下,