Python scrapy 框架之爬取腾讯和360

Python scrapy 框架之爬取腾讯和360

如遇到什么问题请联系：3440037784这个qq，当然也可以要下视频源码笔记

本章所讲内容：

       1、Python scrapy 安装以及必要过的坑

       2、Python scrapy 使用规范，让开发效率更好

       3、Python scrapy 必会的爬取技巧

实战：利用爬虫框架scrapy ，爬取JavaScript动态加载网页，分析json文件格式内容，并将360图片下载到本地文件夹下

实战：利用scrapy爬取，腾讯招聘网站职业信息，保存到本地路径下

1、Python scrapy 介绍  

1.1  Python scrapy 介绍 爬虫框架

爬虫（spider，网络蜘蛛）：爬虫（spider，网络蜘蛛）：模拟浏览器获取服务器资源的脚本。网络爬虫，是在网上进行数据抓取的程序，使用它能够抓取特定网页的HTML数据。

框架：对同一类型的项目共性代码的封装

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。

让我们来看下它的基本结构：

                

Scrapy主要包括了以下组件：

1、引擎，用来处理整个系统的数据流处理，触发事务。

2、调度器，用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。

3、下载器，用于下载网页内容，并将网页内容返回给蜘蛛。

4、蜘蛛，蜘蛛是主要干活的，用它来制订特定域名或网页的解析规则。

5、项目管道，负责处理有蜘蛛从网页中抽取的项目，它的主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后，将被发送到项目管道，并经过几个特定的次序处理数据。

6、下载器中间件，位于Scrapy引擎和下载器之间的钩子框架，主要是处理Scrapy引擎与下载器之间的请求及响应。

7、蜘蛛中间件，介于Scrapy引擎和蜘蛛之间的钩子框架，主要工作是处理蜘蛛的响应输入和请求输出。

8、调度中间件，介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

注：Scrapy 官方网站：http://scrapy.org/

1.2  Scrapy 安装

Pip install scrapy==1.5.1

Pywin32

Twisted

假如报关于Vc++ 14.0 。。。。。。的错误

 

因为你当前的Python和系统的vc版本比较低

更新vc

安装twisted.whl包

pip install wheel

pip install twisted.whl

假如错误入学

网络是不是完好

         我们可以用pip install scrapy –i 国内源

阿里云                   http://mirrors.aliyun.com/pypi/simple/
中国科技大学          https://pypi.mirrors.ustc.edu.cn/simple/ 
豆瓣(douban)               http://pypi.douban.com/simple/ 
清华大学                https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学    http://pypi.mirrors.ustc.edu.cn/simple/

2、Python scrapy 使用

安装成功: 直接在cmd下执行命令 scrapy version

3、scrapy 爬取实战

         实战：利用爬虫框架scrapy ，爬取JavaScript动态加载网页，将图片下载到本地。

第一步： 创建项目

第二步： 配置文件settings.py，关闭robots协议

第三步：  编写Item.py文件

第四步：  spider的编写

第五步： 执行scrapy

第一步：

Scrapy startproject so_image

cd so_image

Scrapy genspider images image.so.com

第二步：

      ROBOTSTXT_OBEY = False

ITEM_PIPELINES = {
   # 'so_images.pipelines.SoImagesPipeline': 300,
    'scrapy.pipelines.images.ImagesPipeline':1,
}
IMAGES_STORE='downlaod_iamges'

第三步：

class SoImagesItem(scrapy.Item):
    # define the fields for your item here like:
    image_urls = scrapy.Field()
    pass

第四步：

spiders.py中编写

# -*- coding: utf-8 -*-
import scrapy
import json
from so_images.items import SoImagesItem
class ImagesSpider(scrapy.Spider):
    BASE_URL = 'http://image.so.com/zj?ch=art&sn=%s&listtype=new&temp=1'
    name = 'images'
    start_index = 0
    allowed_domains = ['image.so.com']
    start_urls = ['http://image.so.com/zj?ch=art&sn=0&listtype=new&temp=1']
    MAX_DOWNLOAD_NUM = 1000
    def parse(self, response):
        infos = json.loads(response.body.decode('utf-8'))
        # images = SoImagesItem()
        images_list = []
        # images['image_urls'] =
        yield {'image_urls':[info['qhimg_url']for info in infos['list']]}
        self.start_index += infos['count']
        if infos['count'] > 0 and self.start_index < self.MAX_DOWNLOAD_NUM:
            yield scrapy.Request(self.BASE_URL%self.start_index)

       第五步：

实战：爬取腾讯招聘网站

得到url：URL= https://hr.tencent.com/position.php?&start=10
编写item

class TencentTestItem(scrapy.Item):
    positionname = scrapy.Field()
    positionlink = scrapy.Field()
    positionType = scrapy.Field()
    peopleNum = scrapy.Field()
    workLocation = scrapy.Field()
    publishTime = scrapy.Field()

编写tencent

# -*- coding: utf-8 -*-
import scrapy

from tencent_test.items import TencentTestItem

class TencentSpider(scrapy.Spider):
    name = 'tencent'
    allowed_domains = ['hr.tencent.com']
    offset = 0
    url = 'https://hr.tencent.com/position.php?&start='
    start_urls = [url+str(offset)]
    # start_urls = ['https://hr.tencent.com/position.php?keywords=python&lid=2156&tid=0&start=\d+']
    def parse(self, response):
        for each in response.xpath("//tr[@class='even'] | //tr[@class='odd']"):
            item = TencentTestItem()
            item['positionname'] = each.xpath("./td[1]/a/text()").extract()[0]
            item['positionlink'] = each.xpath("./td[1]/a/@href").extract()[0]
            try:
                item['positionType'] = each.xpath("./td[2]/text()").extract()[0]
            except IndexError:
                pass
            item['peopleNum'] = each.xpath("./td[3]/text()").extract()[0]
            item['workLocation'] = each.xpath("./td[4]/text()").extract()[0]
            item['publishTime'] = each.xpath("./td[5]/text()").extract()[0]
           # 将数据交给pipeline
            yield item

        if self.offset < 1000:
            self.offset += 10
        yield scrapy.Request(self.url+str(self.offset),callback=self.parse)

编写settings.py

ROBOTSTXT_OBEY = False

 

 

下载延迟

然后项目运行 ：