Python网络爬虫之requests库Scrapy爬虫比较
requests库Scrapy爬虫比较
相同点：
都可以进行页面请求和爬取，Python爬虫的两个重要技术路线
两者可用性都好，文档丰富，入门简单。
两者都没有处理JS，提交表单，应对验证码等功能（可扩展）
想爬取有验证码的，换需要学习别的库知识。
不同点：
Scrapy,异步性。可以同时爬取很多。
（但是有些网站，会有反爬取模块。爬取的太快，反而不好！被发现会被屏蔽IP爬取请求）
非常小的爬取需求：requests库
不太小的爬取需求：scrapy框架
想有自己的框架建议用requests库，因为scrapy的5+2框架反而会限制你。