入门爬虫(一)最简单的url爬取
之前虽然一直又想学爬虫的想法,但是一直没能付诸行动。
怎么说呢,假如20岁不会一样东西的话,二十一岁也不一定会,还有二十二,二十三……
反正下班后牺牲一些娱乐时间学点东西,总是不会错的。
第一次接触python,之前一直搞java的,快速的入了个门,参考教程写了一个最简单的爬虫。
#爬取一个豆瓣首页 原urllib2,现在python3是urllib.request import urllib.request #网址 url = "http://www.douban.com/" #请求 request=urllib.request.Request(url) #爬取结果 urlopen():打开一个url,可以传url或者request response =urllib.request.urlopen(request) #对象的读操作,类似的文件对象的读操作. data = response.read() #设置解码形式 data = data.decode('utf-8') # 打印结果 print(data) # 打印爬取网页的各类信息 print(type(response)) print(response.geturl()) print(response.info()) print(response.getcode())
每天进步一点吧。