爬虫基础(4) -抓包工具
一,HTTP代理
v*n 本身就是一个代理,帮我们访问我们访问不到的国外的网站,再给我们发回数据
Http代理:我们发送http请求给代理,代理帮我们请求数据,再把响应的数据发回我们( 伪装自己 ),代理本身也是一台服务器
代理池:我们发送多个请求到代理池,这些请求会被随机分配到代理池中的某一台代理服务器,再去访问http请求,服务端就无法分辨这些请求是一个人的,伪装自己
二,Fiddler
一款强大的抓包工具,是一款代理服务器,下载:https://www.telerik.com
-
一般的抓包,靠chorme就足够了,但是爬取一些数据项手机App抓包就需要用到Fiddler
-
配置Fiddler
-
命令行查找
-
断点
三 ,手机抓包设置
- 在电脑下载手机模拟器:https://www.yeshen.com/