Python 爬虫进阶必备 | 某视频平台 sign 加密参数分析
今日网站
Byb29tJTNGc3BtJTNEYTJoMGMuODE2NjYyMi5QaG9uZVNva3VVZ2NfMS5kdGl0bGUlMjZpZCUzRDgwOTE1MjElMDA=
今天这个网站同样来自咸鱼的技术交流群
,也是群友拿来交流的网站,因为风险较高,所以上面的密文解不出来的别费劲了。
有需要可以翻下群聊的记录。
抓包与定位
这网站比较敏感所以我们快速过一下,不要研究深了,封号警告~
先看下需要分析的请求
这个请求之后返回了一个 json 数据,前端程序解析这个 json 展示在页面上
所以进一步来看下他的请求参数
可以看到位置的参数只有sign
这一个,其他的参数基本都能猜出大概的意思
所以直接检索一下参数名(不是 xhr 请求用不上 xhr 断点)
检索的结果很少,只有两个,可以通过请求的链接快速定位这个参数所在的文件位置
通过在文件中再次检索,可以快速定位到sign
的位置
加密分析
这个逻辑就非常简单了,快速过一下这个逻辑
第一步、获取到提交参数中的appkey
可以写死,并做一个简单的运算
第二步、将第一步的g
和当前的时间戳、token还有提交的参数中的data
部分做一个拼接后传入了h()
这里比较迷惑性的是token
,这个token
试过是由不同访问的会话生成一个固定的值带入cookie
当中的,这一点可以直接在会话中检索,和cookie
中的值一样
那么这个cookie
的值是怎么来的呢?
通过检索是可以看到是由请求直接写入的
这里就需要再次去模拟这个请求然后拿到服务器返回的cookie
,之后再解析出这个cookie
中的_m_h5_tk
再带入到上面的h()
参数中
第三、获取cookie
的这个请求可以看到也带有sign
,这个时候就陷入懵逼的情况了,不知道的还以为是无限套娃呢?
不过经过使用postman
测试发现,这个获取cookie
请求的sign
写死也是可以获取到set-cookie
的,所以我们就直接写死sign
就行了
第四、完成第三步假的sign
之后,我们就可以获取到set-cookie
中的_m_h5_tk
也就是token
第五、完成第四步之后,h()
传入的参数就可以完成拼接了,这里就需要分析h()
完成了什么逻辑
打上断点,可以看到h()
是个比较简单的 js 也没什么混淆,可以直接扣取代码,也可以直接参考咸鱼分析的结果,这个h
就是 MD5 算法,直接用 Python 实现即可
第六、使用 Python 完成数据的获取
继续送书
今天继续送两本书,感谢北京大学出版社的支持
《Python 3.x网络爬虫从零基础到项目实战》介绍了如何使用Python来编写网络爬虫程序,内容包括网络爬虫简介、发送请求、提取数据、使用多个线程和进程进行并发抓取、抓取动态页面中的内容、与表单进行交互、处理页面中的验证码问题及使用Scrapy和分布式进行数据抓取,并在最后介绍了使用本书讲解的数据抓取技术对几个真实的网站进行抓取的实例,旨在帮助读者活学活用书中介绍的技术。
《TensorFlow+PyTorch深度学习从算法到实战》详尽介绍深度学习相关的基本原理与使用TensorFlow、PyTorch两大主流框架的开发基础知识和基本技术,并且展示了在图像识别与文本生成实际问题中的应用方法。
《分布式一致性算法开发实战》分为11章,第1章简单介绍分布式一致性算法,第2章详细分析Raft算法,第3章在第2章的基础上进行整体设计,第4~8章逐个讲解基于Raft算法的KV服务的各个组件的实现,第9章讲解日志快照,第10章是生产环境必需的服务器成员变更功能,第11章介绍一些相关的Raft算法优化。
参与赠书
以上就是今天的全部内容啦,咱们下次再会~
Love&Share
[ 完 ]