七麦网爬虫协议分析
第一次写博客，看网上有朋友在寻找该网站爬虫思路，这里我就分享下心得吧
比如我们爬取付费App榜单
很明显，直接返回的response里不包含以上数据:
那么还是抓包，通过翻页可以找到如下URL:
加密参数如下：
切入正题，我们直接分析analysis参数来源
chrome下断点，查看调用回溯会断在如下代码:
可以看到上面的代码参数e里包含了加密的参数analysis ，继续向上寻找
这里会出现js卡死现像，耐心等待即可
终于在同一代码块中，找到了参数生成的地方,那么接下来就是扣取js代码，放到本地运行了
网站可以看到是webpack打包形式，所以需要将相关js文件一同扣取下来，文件很庞大，不得不说现在js的混淆是有点恶心
做这些项目就是耗时间
最后python运行结果如下:
如有问题，欢迎交流，评论区下可给楼主留言