scrapy使用

scrapy使用
scrapy是我写爬虫使用最多的一个爬虫框架,https://blog.****.net/u011672579/article/details/78177682这篇博客中有scrapy的介绍,我们开始使用scrapy框架
1.1 scrapy安装
scrapy的安装有的可以直接在终端pip install scrapy进行安装,有的会报错,看他缺少那个包,可以到https://www.lfd.uci.edu/~gohlke/pythonlibs/这个网站下载scrapy安装需要依赖的包,比如twisted这个包缺少,可以如下图搜索下载安装后,再pip install scrapy进行安装就ok,也可以看看我这篇文章https://blog.****.net/qq_41936702/article/details/81476706
使用scrapy
scrapy安装好后,打开终端,选择你想把项目创建到那个位置,我喜欢放到桌面,你可以根据你自己的喜欢选择放到哪里,在终端输入scrapy startproject 项目名字如下图就是创建成功

然后使用pycharm打开项目, (我平时写代码量少的话喜欢用sublime,写项目的话喜欢用pycharm)然后创建spider开始爬虫之旅