网络爬虫是什么

1.1 网络爬虫是什么
1.2.1知识概述

以上数据来源于百度百科

爬虫又叫网络爬虫，网络蜘蛛，一种运行在互联网上用来获取数据的的自动程序。
l 互联网的数据，有很多，一般都是根据业务需求来的。
n 网页（文字、图片、视频）
n 商品数据
l 怎么获取数据？
n HTTP协议
n 人的操是通过浏览器的，程序是利用网络请求的相关协议获取数据。
l 自动化，尽可能减少人工的干预。
n 爬虫开发的技术，没有限制的。
python做网络爬虫是非常流行的。
Java 编写爬虫框架。
思考题：某公司要获取京东的数据，也要获取淘宝的数据，又要获取豆瓣上的数据，请问开发一个爬虫程序好？还是多个程序好？