python爬虫status_code状态码报错406
这个是因为发送的请求不被服务器端识别并接受。
方法是修改header
查看这些信息的方式以firefox为例。
打开要爬去的网站,右键检查元素就打开了inspector
然后点击到network
在network下找到对应的网址便可以查看到在你的浏览器访问该网站时的情况及其信息,
然后按照你的浏览器访问该网站时的信息填到你的爬虫代码里面的headers里面即可。
一般Cookie是可以不写的,不放心的话可以添加上去,cookie在下面这个位置可以找到