python 爬虫初学的几个概念
GET和POST
- GET : 查询参数都会在URL上显示出来
- POST : 查询参数和需要提交数据是隐藏在Form表单里的,不会在URL地址上显示出来
URL组成部分
- URL: 统⼀资源定位符
- https://new.qq.com/omn/TWF20200/TWF2020032502924000.html
- https: 协议-
- new.qq.com: 主机名
- port 端⼝号: 80 /new.qq.com 在他的后⾯有个 :80 可以省略
- TWF20200/TWF2020032502924000.html 访问资源的路径
- #anchor: 锚点用在前端做页面定位的
-
注意 : 在浏览器请求⼀个url,浏览器会对这个url进行⼀个编码。(除英文字母、数字和部分标识其他的全部使用% 加 十六进制码进行编码)
- 例如:https://tieba.baidu.com/ffr=wwwt&kw=%E6%9F%AF%E5%8D%97
- %E6%9F%AF%E5%8D%97等于柯南
User-Agent 用户代理
- 作用:记录用户的浏览器、操作系统等,为了让用户更好的获取HTML页面效果
- User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36
- Mozilla Firefox:(Gecko内核)
Refer
表明当前这个请求是从哪个URL过来的。一般情况下添加这个参数可以避免反爬机制
状态码
- 200 : 请求成功
- 301 : 永久重定向
- 302 : 临时重定向
- 403 : 服务器拒绝请求
- 404 : 请求失败(服务器无法根据客户端的请求找到资源(网页))
- 500 : 服务器内部请求
抓包工具
- Elements : 元素,里面有网页源代码,提取数据和分析数据(有些数据是经过特殊处 理的所以并不是都是准确的)
- Console : 控制台 (打印信息)
- Sources : 信息来源 (整个网站加载的文件)
- Network : 网络工作(信息抓包) 能够看到很多的网页请求