火车头采集器-Fiddler工具(1)

界面:
火车头采集器-Fiddler工具(1)
拖拽到浏览器窗口好定位
火车头采集器-Fiddler工具(1)
过滤器设置成只有包含域名的时候才捕获
火车头采集器-Fiddler工具(1)
网址:
roll.news.qq.com
观察发现翻页网址链接没有明显变化,这样就不能抓取了,所以要用fiddler软件进行分析

  1. 火车头采集器-Fiddler工具(1)

点击翻页按钮产生了很多链接,然后复制页面上的关键词,在fiddler中ctrl+f搜索关键词,包含关键词的链接会变成黄色的
在右侧窗口中点击,Textview即可看到源码
同样的搜索关键词,可以找到位置并捕获规则

火车头采集器-Fiddler工具(1)
我们右键网址copy-》just url
火车头采集器-Fiddler工具(1)
之后在火车头采集器中即可进行爬取网址

在raw中可以看到抓包信息

火车头采集器-Fiddler工具(1)

cookie和useragent两个参数可以复制粘贴到火车头采集器中,可增强采集效果

更多内容:http://faq.locoy.com/search.html?keyword=fiddler&p=1