简单的爬虫每日笔记
2018.3.2
怎么提升爬虫的效率
1）换个性能更好的电脑
2）网络使用光纤
3）使用多线程爬虫
4）使用多进程爬虫
5）分布式爬虫
6）提升数据的写入速度
反反爬虫的应用措施
1）随机修改User-Agent
2)禁用cookie追踪
3）放慢爬虫速度
4）使用代理动态更换ip（本机电脑的ip地址不变，动态ip是代理ip）
5）分布式（一般用不同区域的电脑，不适用一个局域网下，应为ip地址相同）
本地下载数据的一种方法
1）scrapy支持本地生成5种格式的文档，第一种方法是用命令行来运行。
2）也可以修改pipelines.py文件来进行下载，原理是item pipeline就是接收处理爬取后数据item的管道。
一个爬虫项目中可以写入多个爬虫文件，一般他们拥有相同的数据格式，应为他们要公用同样的配置文件settings
，items,pipielines,middlewares