python爬虫——豆瓣图书(根据类别)信息

python爬虫——豆瓣图书(根据类别)信息

提示:爬取数据过多需要登录

常量:
python爬虫——豆瓣图书(根据类别)信息

1.分析url,设计url,可以根据书籍类型爬取

python爬虫——豆瓣图书(根据类别)信息
python爬虫——豆瓣图书(根据类别)信息
python爬虫——豆瓣图书(根据类别)信息

2.获取HTML文本,异常处理,status_code 为状态码,200为成功

python爬虫——豆瓣图书(根据类别)信息

3.分析HTML文本用BeautifulSoup提取当前页数据

python爬虫——豆瓣图书(根据类别)信息
python爬虫——豆瓣图书(根据类别)信息
python爬虫——豆瓣图书(根据类别)信息

4.批量提取数据,转化为pandas数据结构并保存为csv文件

python爬虫——豆瓣图书(根据类别)信息
python爬虫——豆瓣图书(根据类别)信息

5.分析数据,统计各个评分段书籍数量

python爬虫——豆瓣图书(根据类别)信息
python爬虫——豆瓣图书(根据类别)信息