利用scrapy进行股票实例爬虫
步骤
1.建立工程和spider模板
相关命令：
scrapy startproject Baidustocks
cd Baidustocks
scrapy genspider stock baidu.com
进一步修改spider/stocks.py文件
2.编写spider
配置stocks.py文件
3编写item pipelines
配置pipelines.py文件
定义对爬取项（scrapy Item）的处理类
因为定义了新的类，所以需要配置settings.py文件
ITEM_PIPELINES 选项修改成自己定义的类
最后运行文件—scrapy crawl stocks
配置优化的选项