爬虫- 酷航 抓取
文章转自 https://blog.****.net/one_two12/article/details/87545094
https://www.flyscoot.com/ 酷航一个页面黄黄的网站 来搞他
首先fiddler 抓一波包
酷航主要就这三个请求 https://makeabooking.flyscoot.com/Book/Flight 可以拿到报价
上两个是他对浏览器指纹的识别 一个第三方反爬提供商的东西
有的时候请求不是这样的 会弹验证码 因为你浏览器频繁访问了他的网站 会给你弹一个验证码
只要浏览器信息伪造的好 就没啥事
这个请求就会返回js给你 js作用是识别你的浏览器信息
这个呢 是将你浏览器信息上传服务器
我们要的就是伪造这一步
信息大概如下
这里面主要就是 proof 一个js 对时间戳和随机信息加签
后面采集浏览器信息 实验发现只有将浏览器信息中加签部分还有窗口尺寸修改下 就不会被识别出来 酷航抓取就可以完成了
最后解析一下html就能拿到 航班数据了
感兴趣的朋友可以 一起交流交流