入门爬虫(一)最简单的url爬取

之前虽然一直又想学爬虫的想法,但是一直没能付诸行动。

怎么说呢,假如20岁不会一样东西的话,二十一岁也不一定会,还有二十二,二十三……

反正下班后牺牲一些娱乐时间学点东西,总是不会错的。

 

第一次接触python,之前一直搞java的,快速的入了个门,参考教程写了一个最简单的爬虫。

 

#爬取一个豆瓣首页 原urllib2,现在python3是urllib.request
import urllib.request

#网址
url = "http://www.douban.com/"

#请求
request=urllib.request.Request(url)

#爬取结果 urlopen():打开一个url,可以传url或者request
response =urllib.request.urlopen(request)

#对象的读操作,类似的文件对象的读操作.
data = response.read()

#设置解码形式
data = data.decode('utf-8')

# 打印结果
print(data)

# 打印爬取网页的各类信息



print(type(response))
print(response.geturl())
print(response.info())
print(response.getcode())

 

入门爬虫(一)最简单的url爬取

每天进步一点吧。