爬虫学习笔记一

1.浏览器请求url,在Chrome中点检查,从network中的response中看到当前相应。
2.url=请求协议+网站的域名+资源路径+参数。?后面的带%即为参数,可用url解码器解码。
3.当前url对应相应+js+css+图片->elements中内容。但是爬虫中的相应应该以当前url地址对应的相应为准提取数据。
4.HTTP与HTTPS不加密与加密。
爬虫学习笔记一
5.请求:USER_Agent
请求行
请求头:用户代理,根据不同需求修改USER_Agent
6.Cookie:用来存储用户信息,每次请求都会被携带上发送给对方浏览器。
7.请求体:
get请求无请求体,post有,get请求把数据放在url地址中。
post请求用于用户登录,数据传输,其携带数据量比get大,常用于传输大文本的时候。
8.响应:SET COOKIE对方浏览器设置COOKIE到本地