爬取Ajax网页

第一步,获取索引页

1、页面按F12调出原代码
2、按下Network --> XHR -->Preview,发现都在一个json数据集中
3、刷新,观察左边有什么变化,每一行的区别,比如:
爬取Ajax网页
爬取Ajax网页
4、引入requests库,获取内容
爬取Ajax网页
字典是从header获取的,urlencode能将字典转为url索引
爬取Ajax网页

5、构建一个完整的,可以传入参数的
爬取Ajax网页

第二步,装入json,解析数据

1、把json文件格式化,便于后面获取
爬取Ajax网页
2、获取想要的东西,比如每页的url
爬取Ajax网页
3、判断每个url都有东西
爬取Ajax网页
4、解析每个url,直接用requests就行