您的位置: 首页  >  文章  >  Python3 爬虫（二） -- 伪装浏览器

Python3 爬虫（二） -- 伪装浏览器

分类: 文章 • 2024-10-25 11:13:34

一、伪装浏览器

对于一些需要登录的网站，如果不是从浏览器发出的请求，则得不到响应。所以，我们需要将爬虫程序发出的请求伪装成浏览器正规军。
具体实现：自定义网页请求报头。

二、使用Fiddler查看请求和响应报头

打开工具Fiddler，然后再浏览器访问“https://www.douban.com/”，在Fiddler左侧访问记录中，找到“200 HTTPS www.douban.com”这一条，点击查看其对应的请求和响应报头具体内容：
Python3 爬虫（二） -- 伪装浏览器


三、访问豆瓣

我们自定义请求报头与上图Request Headers相同内容：
[python] view plain copy
  1. ''''' 
  2. 伪装浏览器 
  3.  
  4. 对于一些需要登录的网站，如果不是从浏览器发出的请求，则得不到响应。 
  5. 所以，我们需要将爬虫程序发出的请求伪装成浏览器正规军。 
  6. 具体实现：自定义网页请求报头。 
  7. '''  
  8.   
  9. #实例二：依然爬取豆瓣，采用伪装浏览器的方式  
  10.   
  11. import urllib.request  
  12.   
  13. #定义保存函数  
  14. def saveFile(data):  
  15.     path = "E:\\projects\\Spider\\02_douban.out"  
  16.     f = open(path,'wb')  
  17.     f.write(data)  
  18.     f.close()  
  19.   
  20. #网址  
  21. url = "https://www.douban.com/"  
  22. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '  
  23.                         'Chrome/51.0.2704.63 Safari/537.36'}  
  24. req = urllib.request.Request(url=url,headers=headers)  
  25.   
  26. res = urllib.request.urlopen(req)  
  27.   
  28. data = res.read()  
  29.   
  30. #也可以把爬取的内容保存到文件中  
  31. saveFile(data)  
  32.   
  33. data = data.decode('utf-8')  
  34. #打印抓取的内容  
  35. print(data)  
  36.   
  37.   
  38. #打印爬取网页的各类信息  
  39. print(type(res))  
  40. print(res.geturl())  
  41. print(res.info())  
  42. print(res.getcode())   





四、输出的结果结果（截取部分）








Python3 爬虫（二） -- 伪装浏览器





结果文件内容



Python3 爬虫（二） -- 伪装浏览器






GitHub代码链接
															

																					

								

									相关推荐