windows下Scrapy框架搭建

1、版本python3.6.1    64位

2、安装Scrapy

2.1 命令行安装

pip  install Scrapy

若有报错,则按照下步操作

2.2  手动安装

下载Scrapy-1.6.0-py2.py3-none-any.whl 和Twisted-18.9.0-cp36-cp36m-win_amd64.whl文件

下载地址:https://download.****.net/download/qq_35094501/10966803

安装

pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl

pip  install  Scrapy-1.6.0-py2.py3-none-any.whl

2.3 验证

打开cmd窗口。输入scrapy,显示如下,证明安装成功:

windows下Scrapy框架搭建

3  创建scrapy项目

在cmd命令窗口中输入:scrapy startproject  toturial

windows下Scrapy框架搭建

创建和即可看到生成的项目结构如下:

windows下Scrapy框架搭建

3.1 创建spider

cd test_spider

scrapy genspider example example.com

windows下Scrapy框架搭建

此时项目结构如下:

windows下Scrapy框架搭建

 

3.2 example.py的默认内容如下

windows下Scrapy框架搭建

至此,scrapy框架搭建完成,下一篇写爬虫实战,希望大牛不吝赐教!