动态网站返回json数据乱码问题

我们有时候会爬取动态网站时候需要返回json数据例如这样的数据:

动态网站返回json数据乱码问题

但是有时候返回的数据是乱码,比如这样的:

动态网站返回json数据乱码问题

首先我们能够想到的是不是自己没有转为utf8

动态网站返回json数据乱码问题

response.enconding = 'utf8'是把数据转为utf8格式的文本

response.text.encode("utf8")是把文本里的数据转为utf8

两种转换又先后之分,一种是在数据返回时就转为utf8,一种是数据返回文本后再转为utf8

经历这之后你发现还是返回的一串ASCLL

动态网站返回json数据乱码问题

response.json()或者json.loads(response.text)会报错

动态网站返回json数据乱码问题

那你就要看看是不是你的请求头出现了问题,我也是找了好久好久好久才找到问题所在

动态网站返回json数据乱码问题

就是这个请求头的问题,去掉这个Accept-Encoding或者改为’Accept-Encoding‘:’utf-8‘。这样就完成了!!!