一、爬虫学习流程

在第四步中,还可能会涉及到MongoDB(一个介于关系型和非关系型数据库的产品,是非关系型数据库中功能最丰富的、最像关系型数据库的)
二、爬虫的用处
- 大数据时代,获取数据(例如“微指数”网站)
- 获取其他网站的资源(例如百度新闻“news.baidu.com”)
- 模拟人使用网站上的功能(12306抢票、网站上的投票、短信轰炸)
三、爬虫的定义
网络爬虫(网络蜘蛛、网络机器人)就是模拟客户端发送网络请求,接受请求响应,一种按照一定规则,自动地抓取互联网信息的程序。
只要是浏览器能做的事情,原则上爬虫都能做。