对webmagic的一个example进行Debug——框架执行流程

笔者前言

由于业务需求,突然需要在Spring上支持爬虫业务,于是上头选择了这个较为轻量级的框架。
其实笔者在收到爬虫任务时,要求自己空手从零制作一个爬虫,用上了Jsoup作为解析包。早期单单使用Jsoup做小爬虫是能满足的,但随着中期面对规模,小爬虫的效率是不够的,然后就需要借助框架。
而框架是要先进行了解,再进行使用的!!!

webmagic小概

官文

http://webmagic.io/docs/zh/posts/ch1-overview/

一个example的流程

对webmagic有小小了解之后,就会知道它是由4个核心组件驱动的
对webmagic的一个example进行Debug——框架执行流程
详细流程:http://download.****.net/download/yasukusury/10148708