写python爬虫用到的几个工具
一、浏览器抓包工具
作用主要是解析浏览器客户端与服务器之间的消息交互。 可以看到HTTP消息头、消息行和消息体。 得到爬虫程序必须的 UA、cookie等信息，并能够分析不同的浏览器请求所带的参数以及浏览器的响应。
以CHROME为例，在网页右键检查，或直接F12就可以打开抓包工具（开发工具）。
其中最有用的是NETWORK 这个tab，可以看到各个消息，JS,CSS，以及图片调用的情况。
二、代码格式化工具
在线网址：https://www.bejson.com/
将抓包获取的js文件拷贝在在线工具中，可以获得较好的可读性。