构建免费的IP池,质量差得没法看。购买代理,又觉得暂时没必要。所以就构建一个重连路由的工具吧。

emmm, 最近在家写爬虫,遇到最多同时又绕不开的就是IP封禁。

为了对付IP封禁,我曾经尝试了构建维护自己的IP池,从网上各大网站获取它们提供的免费IP,

可用率简直低得可怕。毕竟免费的大家都可以拿来用,被封了也很正常。Pass

购买代理IP,这个的却是最简便的方法,仅仅需要付钱后调用一个接口就好,

但是各大代理商的代理IP的质量参差不齐,并且速度肯定是不如自家网络的。


因此,当不需要上网只需要运行爬虫的时候重启自家路由,刷新IP是最好的。

手动切换:断线,再重连就好,这样会随机分配一个IP地址的。但是仍有小几率分到原来的IP地址。

            构建免费的IP池,质量差得没法看。购买代理,又觉得暂时没必要。所以就构建一个重连路由的工具吧。

用python写程序切换:

其实也就跟和平时爬虫向网页提交请求一个意思,用开发者工具去查看url,然后整理参数提交上去就能切换了。

由于每款路由的接口都不一样,就感觉没必要贴代码了。

PS:1. 切勿在公司用   2. 并且不要在上网的时候运行程序

        因为爬虫被封IP的频率很高,所以很大可能十几秒就切换一次IP,这样会导致整个网络瘫痪。