python爬虫之urllib.error.HTTPError: HTTP Error 418:
python爬虫之urllib.error.HTTPError: HTTP Error 418:
在家做爬虫的表格爬取，没想到就遇到了以前都没见到过的418错误.仔细一想豆瓣网应该是有反爬机制的吧，干脆伪装成浏览器看看，然后就可以啦.伪装代码如下：
很多小伙伴每次做一个爬虫项目就去找user-agent，其实没有必要，就用以前的都是可以的。当被检测到时可以试着改一改最后面的数字，大多数时候都是可以的昂（大多数）。
然后呢这是我得出的结果：希望对你们有帮助。