windows下Scrapy框架搭建
1、版本python3.6.1 64位
2、安装Scrapy
2.1 命令行安装
pip install Scrapy
若有报错,则按照下步操作
2.2 手动安装
下载Scrapy-1.6.0-py2.py3-none-any.whl 和Twisted-18.9.0-cp36-cp36m-win_amd64.whl文件
下载地址:https://download.****.net/download/qq_35094501/10966803
安装
pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl
pip install Scrapy-1.6.0-py2.py3-none-any.whl
2.3 验证
打开cmd窗口。输入scrapy,显示如下,证明安装成功:
3 创建scrapy项目
在cmd命令窗口中输入:scrapy startproject toturial
创建和即可看到生成的项目结构如下:
3.1 创建spider
cd test_spider
scrapy genspider example example.com
此时项目结构如下:
3.2 example.py的默认内容如下
至此,scrapy框架搭建完成,下一篇写爬虫实战,希望大牛不吝赐教!