python爬虫框架:scrapy抓取企业名录

我们要用scrapy抓取企业名录网站的企业信息,并且保存在mysql数据库中,数据大概是22万条,我们用scrapy抓取。

第一步,现在item中定义好要抓取的字段

python爬虫框架:scrapy抓取企业名录

第二步,定义spider的抓取逻辑。

python爬虫框架:scrapy抓取企业名录

第三步,在setting里把保存的管道打通。也就是把默认的67,68行被注释的给解开

ITEM_PIPELINES = {

  'repair_spider.pipelines.RepairSpiderPipeline': 300,

}

第四步,在pipelines中定义存储

python爬虫框架:scrapy抓取企业名录