《精通Python网络爬虫》理论基础篇1-2
第1章什么是网络爬虫
1.1为何学习网络爬虫
（1）定制一个个性化的搜索引擎
搜索引擎离不开爬虫，例:百度（百度蜘蛛BaiduSpider）360(360Spider) 搜狗（SougouSpider）必应（BingBot）
（2）数据分析
（3）优化搜索引擎
（4）工作生计
（5）兴趣爱好
1.2网络爬虫的组成
网络爬虫由控制节点，爬虫节点，资源库构成。
控制节点：爬虫的中央控制器，根据URL地址分配线程，调用爬虫节点具体爬行。
爬虫节点：应用相关算法，对网页进行具体爬行。
资源库：将爬虫节点爬行结果存储到对应的资源库中。
1.3网络爬虫类型
| 爬虫类型 | 具体说明 |
|---|---|
| 通用网络爬虫 | 爬行目标数据巨大，范围广 |
| 聚集网络爬虫 | 目标网页是定位与主题相关网页 |
| 增量式网络爬虫 | 只爬取内容发生变化的网页 |
| 深层网络爬虫 | 爬取深层页面 |
注明：在互联网中，网页按存在方式分类，分为表层页面和深层页面。
（1）表层页面，不需要提交表单，使用静态链接到达的静态页面。
（2）深层页面，需提交表单，才能获取的页面。
（3）深层网络爬虫最重要的部分是填写表单，以爬取深层页面。
1.4聚焦爬虫
- 聚焦爬虫的具体工作流程（爬取与主题相关的网页）
（1）控制中心，负责对整个爬虫系统进行管理和监控。
（2）首先初始的URL集合传递给URL队列。
（3）页面爬行模块会根据URL地址进行页面爬取，将爬取相应内容传到页面数据库中存储。
（4）在爬行过程中会产生新的URL。
（5）此时链接过滤模块过滤无关链接。
（6）剩下的URL根据主题使用链接评价模块或内容评价模块进行优先级排序，再次传送URL队列。
（7）另一方面，将页面数据库中的爬取到的页面进行分析处理，放入索引库中。
（8）用户检索对应信息，可得对应结果。
第2章网络爬虫技能总览
2.1网络爬虫技能纵览图
2.2搜索引擎核心
爬虫与搜索引擎密不可分。
下图所示搜索引擎的核心工作流程。
（1）搜索引擎利用爬虫模块（控制器，爬行器）从互联网爬取相应网页存储至原始数据库中。
（2）对原始数据库中数据进行索引（相当于索引器给数据起名字），并存储到索引数据库中。
（3）用户交互检索信息，检索器会从索引数据库中获取数据进行相应的检索处理。
（4）同时，用户输入信息会被存储到用户日志数据库中。
（5）用户日志数据库中的数据会交给日志分析器进行处理。
（6）日志分析器会根据大量的用户数据去调用原始数据库和索引数据库，改变排名结果或进行其他操作。