Python爬虫实战简单分析知乎用户粉丝

开发工具

**Python版本:**3.6.4

相关模块:

pyecharts模块;

requests模块;

jieba模块;

fake_useragent模块;

以及一些Python自带的模块。

相关文件

关注微信公众号:python工程狮,回复:“知乎粉丝

环境搭建

安装Python并添加到环境变量,pip安装需要的相关模块即可。

额外说明:

pyecharts模块安装时请依次执行以下命令:

pip install echarts-countries-pypkg

pip install echarts-china-provinces-pypkg

pip install echarts-china-cities-pypkg

pip install pyecharts

原理简介

感觉很多爬过知乎的人应该都知道,知乎有三个常用的API接口,如下图所示:

Python爬虫实战简单分析知乎用户粉丝

因为是随便玩玩的,所以本文只用了第三个接口来获取指定用户的粉丝信息,信息包括用户昵称、标题、性别、回答问题的数量等。然后再利用pyecharts等库对数据进行简单的可视化分析。

顺便提一下,那些号称用python爬了几十万知乎用户信息的,用的大多都是这三个接口+Scrapy框架。以后有时间我也来过把瘾试一试。T_T

That’s all.

完整源代码请自行参考相关文件。

结果展示

爬虫部分:

修改下图中的用户为需要爬取的用户:

Python爬虫实战简单分析知乎用户粉丝

在cmd窗口运行**“Zhihu_Spider.py”**文件即可。

注意,这里的用户指代url_token,比如:

Python爬虫实战简单分析知乎用户粉丝

运行截图:

Python爬虫实战简单分析知乎用户粉丝

数据分析:

粉丝男女比例:

Python爬虫实战简单分析知乎用户粉丝

Python爬虫实战简单分析知乎用户粉丝

粉丝昵称词云:

Python爬虫实战简单分析知乎用户粉丝

粉丝标题词云:

Python爬虫实战简单分析知乎用户粉丝

粉丝的粉丝:

Python爬虫实战简单分析知乎用户粉丝

Python爬虫实战简单分析知乎用户粉丝

粉丝的回答数量:

Python爬虫实战简单分析知乎用户粉丝

That’s all.