火车头采集器-Fiddler工具(1)
界面:
拖拽到浏览器窗口好定位
过滤器设置成只有包含域名的时候才捕获
网址:
roll.news.qq.com
观察发现翻页网址链接没有明显变化,这样就不能抓取了,所以要用fiddler软件进行分析
点击翻页按钮产生了很多链接,然后复制页面上的关键词,在fiddler中ctrl+f搜索关键词,包含关键词的链接会变成黄色的
在右侧窗口中点击,Textview即可看到源码
同样的搜索关键词,可以找到位置并捕获规则
我们右键网址copy-》just url
之后在火车头采集器中即可进行爬取网址
在raw中可以看到抓包信息
cookie和useragent两个参数可以复制粘贴到火车头采集器中,可增强采集效果