爬虫模拟登陆并爬取Github分析
一 目标
以Github为例实现模拟登陆的过程，同时爬取登录后才可以访问的页面信息，如好友动态、个人信息。登录后可以看到这些信息，退出后就看不到这些信息了。
二 环境准备
安装好lxml和requests库。
三 分析登录过程
1 先退出登录，同时清除Cookies
2 打开https://github.com/login，用Google开发者工具进行登录抓包
3 点击登录后的抓包见下图：
Header中包括Cookies、Host、Origin、Referer、User-Agent等，Form Data则包括5个字段。
4 截获Cookies和authenticity_token
先退出登录，回到登录页，同时清空Cookies，重新访问登录页，截获发生的请求。
在Response Headers有一个Set-Cookie字段。这就是设置Cookies的过程。
authenticity_token隐藏在网页的源代码中，见下面抓包。