从头学习爬虫(二)----数据分析
本文主要介绍下爬虫数据分析的步骤,不是实战项目,只有详细分析。
数据来源
总有人问为什么我写的爬虫数据拿不到,那下面就浅谈下数据来源:
1、页面直接加载
2、动态加载
判断依据
首先我们打开百度首页分析,下面新闻怎么爬。
第一步,不是点击元素审查(Elements),请忘记查看源码(它是由各种请求渲染出来的,详细说明请看前篇)。
第二步,点击网络(network),找到你的请求(url所对应的那个),点击响应(reponse)
第三步,分析响应是否含有我们要的新闻
第四步,如果有直接根据请求copy请求头去获取这样一个简单的爬虫写完了。如果没有请继续按照第五步操作。
第五步,请求分析,对应你所要数据的类型,例如还是这个百度新闻,我们想拿到下面的新闻,必须点击加载更多
那这个请求,可能在xhr或者other里面,如下图我们可以发现所要的内容在这个请求里面做第四步操作,提取内容
总结
我们从数据来源分析如何从不同请求中找到数据。
欢迎加群313557283~