最近在学习爬虫，总是会遇到各种各样问题，感受到网站深深的恶意。最近又遇到一个瓶颈。由于使用自己的IP爬取数据IP会被封，所以采用代理IP来爬数据。理论上可行的方法实际操作起来却并不是总能成功爬到数据。由于使用的是免费代理IP，这种IP可以很容易在代理IP网站找到，所以一些网站可能也会对这些免费代理采取一系列的反爬措施。所以验证一下这些免费代理IP能不能进入你要爬取的网页。

在西刺随便找了一个高匿代理

切换设置代理IP服务器

尝试能不能进入要爬取数据的网页

确实不能进入想要爬取数据的网站，这就验证了一些网站确实会通过封免费的代理IP来防止爬虫。