从头学习爬虫（十三）实战篇----百度搜索

本文侧重于请求分析，如何使用工具简化请求。

工具

postman（谷歌浏览器装了插件也可以使用）、火狐浏览器。

流程

以火狐为例

1.打开百度

2.f12 打开网络点持续日志和禁用缓存

3 输入aa 回车查看请求

4确认响应是否是我们想要的

5 分析请求

get 请求参数有这么多

header 里面有这么多

6 简化请求参数

点击编辑和重发

进入编辑页面

去掉不影响结果的参数

简化header 去掉cookie 。。。 （有时候cookie里面参数可以填空）

上面那条是请求成功的，下面那条是我们要继续编辑的

对比简化参数

只要响应保持你想要的，继续简化参数直到

7 根据请求编写代码

重点：有些参数可以不填但是必须存在，如下把baiduid= ，这种方法很适用

为什么要这么做？你可以发现请求头很多参数我们都不知道怎么来或者怎么生成的，

这种方法可以帮我们迅速写出一个正确的请求。