Python 爬虫基础 - Urllib 模块（1）

Python的一个很广泛的功能就是爬虫。爬虫可以获取我们需要的资料，甚至进行DDos的工具。爬虫现在比较流行的是Scrapy之类的模块，但是在学习这些工具之前，先了解一下Urllib模块，知道他的基本工作原理。

爬虫的基本思路：

扫描获取对应的Url，扫描Url网页的内容，通过正则匹配获取需要的内容进行下载。

Urllib的官方帮助文档

https://docs.python.org/3/library/urllib.request.html

关于Python的基本语法和正则的使用这里就不赘述了。下面直接看实例：

例1 获取取豆瓣的出版社信息，然后把结果写入文本文件和Excel文件

关键其实在于分析HTML页面的标签，这样才能通过正则匹配出来需要的字符串

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

#！/usr/bin/env python
#! -*- coding:utf-8 -*-
# Author: Yuan Li

import re,urllib.request

print("读取网页中...")
 
#

data=urllib.request.urlopen('https://read.douban.com/provider/all').read().decode('utf8')

pat='<div class=\"name\">(.+?)<\/div>'

result=re.compile(pat).findall(data)

print(result)
 

print("写入文档...")

fp=open('c:\\temp\\publisher.txt','a',encoding='utf8')

for item in result:

    fp.write(item+"\n")
fp.close()
 

print("写入Excel...")

import xlsxwriter

workbook=xlsxwriter.Workbook('publisher.xlsx')

worksheet=workbook.add_worksheet('出版社')

row=0

col=0

worksheet.write(row,col,'出版社名称')

for item in range(len(result)):

    row+=1

    worksheet.write(row,col,result[item])
workbook.close()

1
2
3
4

读取网页中...

['博集天卷', '北京邮电大学出版社', '北京师范大学出版社', '百花洲文艺出版社', '百花文艺出版社', '长江数字', '重庆大学出版社', '东方文萃', '读客图书', '电子工业出版社', '当代中国出版社', '第一财经周刊', '豆瓣阅读同文馆', '豆瓣', '豆瓣阅读', '豆瓣阅读出版计划', '东方巴别塔文化', '凤凰壹力', '凤凰悦世泓文', '凤凰联动', 'Fiberead', '复旦大学出版社', '凤凰雪漫', '果壳阅读', '果麦文化', '广西师范大学出版社', '杭州蓝狮子文化创意股份有限公司', '后浪出版公司', '华东师范大学出版社', '华章数媒', '汉唐阳光', '华文时代', '湖北人民出版社', '华章同人', '华夏盛轩', '海豚出版社', '虹膜出版', '化学工业出版社', '华中科技大学出版社', '湖北科学技术出版社', '黑龙江北方文艺出版社', '华文经典', 'HarperCollins', '聚石文华', '金城出版社', '简书', '今古**', '江苏人民出版社', '九州幻想', '科幻世界', '酷威文化', '理想国', '漓江出版社', '磨铁数盟', '宁波出版社', '南方人物周刊', 'ONE·一个', '浦睿文化', '清华大学出版社', '青岛出版社', '《人物》杂志', '人民文学出版社', '人民邮电出版社', '儒意欣欣', '人民东方出版传媒', '人民文学杂志社', '上海九久读书人', '世纪文景', '四川数字出版传媒有限公司', '上海译文出版社', '时代华文', '上海雅众文化', '世纪文睿', '时代华语', '商务印书馆', '生活·读书·新知三联书店', '上海社会科学院出版社', '社会科学文献出版社', '山西春秋电子音像出版社', '时代数联', '陕西人民出版北京分公司', '《书城》杂志', '世图北京', '四川文艺出版社', '上海文艺出版社', '上海人民出版社', '上海交通大学出版社', '斯坦威图书', '上海人民美术出版社', '图灵社区', 'Trajectory', '武汉大学出版社北京分社', '万有图书', '我和豆瓣', '新经典文化电子书', '新星出版社', '新华先锋文化传媒', '雪球', '悬疑世界', '现代出版社', '西南财经大学出版社', '新华出版社', '新华先锋出版科技', '译林出版社', '译言·东西文库', '译言·古登堡计划', '悦读纪', '阳光博客', '悦读名品', '燕山出版社', '阅文集团华文天下', '中信出版社', '中国人民大学出版社', '中作华文', '中国轻工业出版社', '紫图图书', '浙版数媒', '中央编译出版社', '知乎', '中国国家地理图书部', '浙江摄影出版社', '中国经济出版社', '中国青年出版社', '中国民主法制出版社', '中国传媒大学出版社', '中国言实出版社', '浙江大学出版社', '湛庐文化', '浙江文艺出版社', '中华书局']
写入文档...
写入Excel...

我们知道在HTTP协议里面，最常用的两个方法就是Get和Post。Get一般通过URl传递参数，一般是刷新页面的时候来获取信息；POST一般是通过form或者Ajax来提交数据。下面看看两个简单的实例

例2. GET请求，通过百度搜索并返回前5页结果的标题

关键点：分析百度的URL，wd表示是关键字， pn表示是（页码数-1）*10的结果

1
2
3
4
5
6
7
8
9
10
11
12
13
14


import urllib.request,re

word= input('请输入关键字:')
#quote的目的是把中文转码成URL能够识别的格式

word=urllib.request.quote(word)

for i in range(1,5):

    print("page%d"%i)

    page=(i-1)*10

    url="https://www.baidu.com/s?wd=%s&pn=%s"%(word,str(page))

    pat='"title":"(.*)",'

    data=urllib.request.urlopen(url).read().decode("utf-8")

    print(len(data))

    result=re.compile(pat).findall(data)

    for item in result:

        print(item)

1
2
3
4
5
6
7
8
9

请输入关键字:beanxyz
page1
172165

麻婆豆腐 - 51CTO技术博客 - 领先的IT技术博客

【挨踢人物传】beanxyz:海外8年经历 不为当初的选择后悔 - 51CTO...
beanxyz的微博_微博

PowerShell 抓取网页表格 - 麻婆豆腐 - 51CTO技术博客

PowerShell 多线程的使用 - 麻婆豆腐 - 51CTO技术博客

XenApp / XenDesktop 7.6 初体验一 安装, 配置站点和***服务器...

例3 POST请求，输出结果

基本思路：通过urllib.parse.urlencode把字典格式的内容转码，通过urllib.request.Request生成一个提交post请求的对象，然后再通过urlopen来进行发送

下面这个例子一般实战里面好像能成功的不多，毕竟太low了，所以为了理解流程，有个非常简单的测试form页面可以试试

1
2
3
4
5
6
7


import urllib.request,re

url='http://www.iqianyue.com/mypost'

dic={'name':'aaa','pass':'kkk'}

postdata=urllib.parse.urlencode(dic).encode('utf-8')

r=urllib.request.Request(url,postdata)

data=urllib.request.urlopen(r).read().decode('utf-8')

print(data)

1
2
3
4
5
6
7
8
9
10
11
12

<html>
<head>

<title>Post Test Page</title>

</head>
<body>

<form action="" method="post">

name:<input name="name" type="text" /><br>

passwd:<input name="pass" type="text" /><br>

<input name="" type="submit" value="submit" />

<br />

you input name is:aaa<br>you input passwd is:kkk</body>

</html>

例4 爬虫的异常处理，爬虫的异常主要是URLError或者HTTPError, 后者是前者的继承类，多了一个code的属性

小技巧：PyCharm里面Ctrl+点击对应的类可以查看源码

1
2
3
4
5
6
7
8
9


class HTTPError(URLError, urllib.response.addinfourl):

    """Raised when HTTP error occurs, but also acts like non-error return"""

    __super_init = urllib.response.addinfourl.__init__

    def __init__(self, url, code, msg, hdrs, fp):

        self.code = code

        self.msg = msg

        self.hdrs = hdrs

        self.fp = fp

        self.filename = url

我们可以直接使用URLError 然后根据结果判定是否是HTTPError或者是其他的Error

比如我直接去打开Nagios的页面，因为没有提供用户名和密码，所以直接拒绝访问

1
2
3
4
5
6
7
8


import urllib.request,urllib.error

try:

    urllib.request.urlopen('http://sydnagios/nagios')

except urllib.error.URLError as e:

    if hasattr(e,'code'):

        print(e.code)

    if hasattr(e,'reason'):

        print(e.reason)

1
2

401
Unauthorized

本文转自 beanxyz 51CTO博客，原文链接：http://blog.51cto.com/beanxyz/1983377，如需转载请自行联系原作者

Python 爬虫基础 - Urllib 模块（1）

相关推荐