豆瓣电影爬取

豆瓣电影top250的爬取

这个爬取相对来说比较简单，是需要分析列表页的规律，然后进入详情页即可
代码如下：

from urllib import request
from lxml import etree
#构造函数，抓取第i页信息
def crow(i):
    #  构造第i页的网址
    url='https://movie.douban.com/top250?start='+str(25*i)
    #  发送请求，获得返回的html代码并保存在变量html中
    html=request.urlopen(url).read().decode('utf-8')
    #将返回的字符串格式的html代码转换成xpath能处理的对象
    html=etree.HTML(html)
    #先定位到li标签，datas是一个包含25个li标签的list，就是包含25部电影信息的list
    datas = html.xpath('//ol[@class="grid_view"]/li')
    a=0
    for data in datas:
        data_title=data.xpath('div/div[2]/div[@class="hd"]/a/span[1]/text()')
        data_info=data.xpath('div/div[2]/div[@class="bd"]/p[1]/text()')
        data_quote=data.xpath('div/div[2]/div[@class="bd"]/p[2]/span/text()')
        data_score=data.xpath('div/div[2]/div[@class="bd"]/div/span[@class="rating_num"]/text()')
        data_num=data.xpath('div/div[2]/div[@class="bd"]/div/span[4]/text()')
        data_picurl=data.xpath('div/div[1]/a/img/@src')
        print("No: "+str(i*25+a+1))
        print(data_title)
        #保存电影信息到txt文件，下载封面图片
        with open('douban250.txt','a',encoding='utf-8')as f:
            #封面图片保存路径和文件名
            picname='F:/learn/python/python_workspace/data/top250/'+str(i*25+a+1)+'.jpg'
            f.write("No: "+str(i*25+a+1)+'\n')
            f.write(data_title[0]+'\n')
            f.write(str(data_info[0]).strip()+'\n')
            f.write(str(data_info[1]).strip()+'\n')
            #因为发现有几部电影没有quote，所以这里加个判断，以免报错
            if data_quote:
                f.write(data_quote[0]+'\n')
            f.write(data_score[0]+'\n')
            f.write(data_num[0]+'\n')
            f.write('\n'*3)
            #下载封面图片到本地，路径为picname
            request.urlretrieve(data_picurl[0],filename=picname)
        a+=1
for i in range(10):
    crow(i)

爬取豆瓣的热门电影

这个爬取过程比top250的爬取复杂，因为它是一个动态网页，没有1,2,3,4…d等明显的页数，虽然内容不是滑动缓存，但是看到加载两个字，基本上可以确定是ajax技术来实现的
然后就去寻找json文件：
豆瓣电影爬取
打开https://www.json.cn/，我们可以把Response里面的东西copy到里面，就变成如下的形式，证实是一个json文件

查看Headers，url为https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0
点击加载，url就变为https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=20，再点击一次，变为https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=40，所以可以清楚的看到规律，我们就可以获取到列表页的信息

“https://movie.douban.com/j/search_subjects?“+“type=movie&tag[]&sort=recommend&page_limit=20&page_start=[]“

import requests
from urllib.parse import urlencode
import json


def get_movie_page(num):
    data = {
        'type': 'movie',
        'tag': '热门',
        'sort': 'recommend',
        'page_limit': 20,
        'page_start':num
    }
    url = 'https://movie.douban.com/j/search_subjects?' + urlencode(data)
    response = requests.get(url)
    return response.text
def parse_movie(html):
#将json类型loads成python的字典类型
    movie = json.loads(html)
    result = []
    if movie and 'subjects' in movie.keys():
        for item in movie.get('subjects'):
            film = {
                'rate': item.get('rate'),
                'title': item.get('title'),
                'url': item.get('url'),
                'cover': item.get('cover')
            }
            result.append(film)
    print(result)
def main():
    for i in range(5):
        html = get_movie_page(i*20)
        parse_movie(html)


if __name__ == '__main__':
    main()

豆瓣电影top250的爬取

爬取豆瓣的热门电影

相关推荐