爬虫基础(4) -抓包工具

一,HTTP代理

v*n 本身就是一个代理,帮我们访问我们访问不到的国外的网站,再给我们发回数据

Http代理:我们发送http请求给代理,代理帮我们请求数据,再把响应的数据发回我们( 伪装自己 ),代理本身也是一台服务器

爬虫基础(4) -抓包工具

代理池:我们发送多个请求到代理池,这些请求会被随机分配到代理池中的某一台代理服务器,再去访问http请求,服务端就无法分辨这些请求是一个人的,伪装自己

二,Fiddler

一款强大的抓包工具,是一款代理服务器,下载:https://www.telerik.com

  1. 一般的抓包,靠chorme就足够了,但是爬取一些数据项手机App抓包就需要用到Fiddler

  2. 配置Fiddler

    爬虫基础(4) -抓包工具

    爬虫基础(4) -抓包工具

    爬虫基础(4) -抓包工具

  3. 命令行查找

    爬虫基础(4) -抓包工具

  4. 断点

    爬虫基础(4) -抓包工具

三 ,手机抓包设置

  • 在电脑下载手机模拟器:https://www.yeshen.com/