从头学习爬虫(二)----数据分析

本文主要介绍下爬虫数据分析的步骤,不是实战项目,只有详细分析。


数据来源

总有人问为什么我写的爬虫数据拿不到,那下面就浅谈下数据来源:

1、页面直接加载

2、动态加载


判断依据

从头学习爬虫(二)----数据分析

首先我们打开百度首页分析,下面新闻怎么爬。

第一步,不是点击元素审查(Elements),请忘记查看源码(它是由各种请求渲染出来的,详细说明请看前篇)。 

第二步,点击网络(network),找到你的请求(url所对应的那个),点击响应(reponse)

从头学习爬虫(二)----数据分析

第三步,分析响应是否含有我们要的新闻

第四步,如果有直接根据请求copy请求头去获取这样一个简单的爬虫写完了。如果没有请继续按照第五步操作。

第五步,请求分析,对应你所要数据的类型,例如还是这个百度新闻,我们想拿到下面的新闻,必须点击加载更多

              那这个请求,可能在xhr或者other里面,如下图我们可以发现所要的内容在这个请求里面做第四步操作,提取内容

从头学习爬虫(二)----数据分析

  


总结

我们从数据来源分析如何从不同请求中找到数据。


欢迎加群313557283~