对webmagic的一个example进行Debug——框架执行流程
笔者前言
由于业务需求,突然需要在Spring上支持爬虫业务,于是上头选择了这个较为轻量级的框架。
其实笔者在收到爬虫任务时,要求自己空手从零制作一个爬虫,用上了Jsoup作为解析包。早期单单使用Jsoup做小爬虫是能满足的,但随着中期面对规模,小爬虫的效率是不够的,然后就需要借助框架。
而框架是要先进行了解,再进行使用的!!!
webmagic小概
官文
http://webmagic.io/docs/zh/posts/ch1-overview/
一个example的流程
对webmagic有小小了解之后,就会知道它是由4个核心组件驱动的
详细流程:http://download.****.net/download/yasukusury/10148708