Python四期第十一周爬虫优秀作业
此周是爬虫最后一周。老师讲解了爬api接口,以及给同学们讲解自己爬豆瓣的网需求分析。下面让我们来看下同学的优秀作业~
韩玉民
链接地址:https://gitee.com/ihanyumin/PythonLearn/tree/master/week11
优点:利用分布式爬取数据将数据存入redis,思路清晰,代码简洁的实现作业要求。
分布式爬取tag
通过读取redis 数据库的tag 获得url
爬取最后书名信息
此周是爬虫最后一周。老师讲解了爬api接口,以及给同学们讲解自己爬豆瓣的网需求分析。下面让我们来看下同学的优秀作业~
韩玉民
链接地址:https://gitee.com/ihanyumin/PythonLearn/tree/master/week11
优点:利用分布式爬取数据将数据存入redis,思路清晰,代码简洁的实现作业要求。
分布式爬取tag
通过读取redis 数据库的tag 获得url
爬取最后书名信息