Python爬取博客园数据---环境准备

1、安装环境Python爬取需要的环境
直接使用Anaconda3的集成环境，然后安装scrapy包。
打开游览器，搜索Anaconda3
点击Anaconda3的官网进入下载
下载完之后安装Anaconda3，一直next即可。
2、安装Scrapy必要的包
百度搜索PIPY，进入下面界面搜索Twisted，下载对应版本Twisted-19.7.0-cp37-cp37m-win_amd32.whl（根据你的Python的版本选择合适的包，名称中间的cp37是python3.7的意思，amd32是python的位数）
下载完之后放入Anaconda3目录下，打开Anaconda自带的Anaconda Prompt (Anaconda3)，进入Anaconda3的文件名录，使用命令pip install Twisted-19.7.0-cp37-cp37m-win_amd32.whl安装即可。

进入PIPY官网搜索lxml下载lxml-4.4.1-cp37-cp37m-win32.whl(根据你的Python的版本选择合适的包，名称中间的cp37是python3.7的意思，win32是python的位数)，根据电脑位数下载对应位数的lxml，将下载的文件放在Anaconda3的下即可,进入Anaconda3的文件名录，使用命令pip install lxml-4.4.1-cp37-cp37m-win32.whl安装即可。
3、检查需要的包是否安装成功
进入Anaconda自带的Anaconda Prompt (Anaconda3)查看是否安装了lxml以及Twisted，出现下面图片中的包即安装成功。



4、安装scrapy包
进入Anaconda自带的Anaconda Prompt (Anaconda3)，输入pip install scrapy,即可安装成功。

到此python爬取博客园的数据需要环境准备完成。