Robots-网络爬虫排除标准协议
Robots Exclusion Standard 网络爬虫排除标准
作用：网站告知爬虫哪些页面可以抓取，哪些不行
形式：在网站根目录下的robots.txt文件
案例：京东的robots协议
https://www.jd.com/robots.txt
Robosts协议的基本语法：
*代表所有
/代表根目录
其他网站的robots协议
robots协议的遵守方方式
网络爬虫：自动或人工识别robots.txt文件，再进行内容爬取
约束性：robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险
对robots协议的理解
| 爬取网页，玩转网页 | 访问量很小：可以遵守/访问量较大：建议遵守 |
|---|---|
| 爬取网页，爬取系列网站 | 非商业偶尔：建议遵守 /商业利益：必须遵守 |
| 爬取全网 | 必须遵守 |
类人类行为可不参考robots协议