简单爬虫结构以及BeautifulSoup
简单爬虫结构以及BeautifulSoup
1、URL管理器
管理待抓取的url集合和已抓取的URL集合，防止重复抓取、循环抓取添加新的url到待爬取集合中。然后，判断待添加url是否在容器中。
实现方式：
1、内存（内存可能不够用，不能永久储存）
—python内存—
待爬取的URL集合：set()
已爬取的URL集合：set()
set()可以直接取去除集合中重复的内容
2、关系数据库（能永久储存）
—MySQL—
urls(url, is_crawled)
用is_crawled来标志url是否已爬取，也就是说用一个表来存储待爬取和已爬取两个数据集合
3、缓存数据库（性能高）
—redis—
待爬取的URL集合：set
已爬取的URL集合：set
2、网页下载器
将互联网上url对应的网页下载到本地的工具
有以下几种网页下载器：
1、urllib2：官方基础模块
2、requests：第三方库
3、网页解析器
从网页中提取有价值数据的工具
有以下几种网页解析器：
1、正则表达式（模糊查询）
2、html.parser
3、lxml
4、BeautifulSoup(结构化解析)
结构化解析-DOM（Document Object Model）树
BeautifulSoup
1、结构化解析-DOM（Document Object Model）树
例如有以下节点：可以按照三种方式搜索
2、用法
- 首先创建BeautifulSoup对象：
- 搜索节点（find_all, attrs, string）
class加了个下划线，是因为python中有class关键字，为防止冲突，bs的class加了下划线 - 访问节点信息