requests入门——jwzx照片爬取

这是一个比较好玩的项目,爬取jwzx上面同学的照片

爬取步骤

1. 登录后 打开自己的照片页面

这里右键点击照片,在新页面打开
requests入门——jwzx照片爬取
就可以得到这个页面。我们会发现url的规律,改变后面的学号,我们就可以得到其他小伙伴的照片了。
requests入门——jwzx照片爬取

2. 找到自己的user_agent 和 cookie

我们会发现,如果没有登录,是无法打开这个照片页面的,而cookie就是告诉网页我们登录好啦的东西。
维基上面对cookie的解释:
requests入门——jwzx照片爬取
所以,我们在登录后的页面,按F12可以查看html元素,查看响应事件,并找到我们需要的cookie和user_agent。
requests入门——jwzx照片爬取

代码

requests入门——jwzx照片爬取