爬虫乱码问题的处理

爬虫乱码问题

经历过学或者写爬虫的小伙伴可能都会有这样的问题,爬取的网页源码或文本内容直接乱码。
下面演示下乱码的处理方法。

区别就是这一行:res.encoding = 'utf-8’
爬虫乱码问题的处理
爬虫乱码问题的处理

注意
大部分网页都是utf-8编码的没错,但是也有一部分网页是gbk编码的,所以只需把utf-8改成gbk即可。其他少部分的也有另外的编码格式。

除了一个个试,还有什么办法呢?

看下图:在网页中查看源代码。
爬虫乱码问题的处理
在源代码的开头部分都会有个charset,图中是倒数第二行。

只要去查看一下源码是什么格式编写的,把utf-8改成相应编码就可以啦。