Python爬虫传送post请求要携带哪些参数?
作者:知乎用户
链接:https://www.zhihu.com/question/60256922/answer/174211193
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
本来只是看题主也努力研究了,才写的小攻略。意外的受欢迎赞还不少呢,有兴趣的童鞋移步文末,更多精彩。
你这也花了不少心思,我提供一个小攻略吧,,写此类post请求的时候,不要自己去构造,搜一下postman,,你会发现这是多么轻松。。尤其是爬虫写多了以后就必须得会偷懒。。
比如带post参数的进行豆瓣电影搜索,只带一个参数。当然可以直接从url构造
搜索: 电影 例如:search?q=电影
用postman的话,
输入url,先构建你的headers,点击build edit会变成如下的key value edit
将你浏览器开发者模式下,的请求头复制出来。我模糊cookie只是出于安全考虑。
然后再点击:key value edit 你请求头的部分都会
咱们看看程序效果,你点击下面位置的code,他就会让你选择语言,并且自动生成标准的构造方式。
如下图:
是不是很快速,,而且很标准?。
那么header旁边还有一个body。。这里是构建你post请求的参数的地方。
先改成post的请求方式然后点击body。
复制你浏览器开发者工具中的
贴到body然后key-value一下,在点击code就会自动生成post请求代码。非常标准的基础代码。
别光感谢,不点赞啊。。
好像挺受到欢迎的,我写到专栏里:
60秒GET小技能-爬虫快速构建post参数法 - 知乎专栏
更多干货请参看:个人信息中的博客/专栏/github
欢迎来踩踩。
一些值得看的相关回答:
- 想知道大家都用python写过哪些有趣的脚本? - 知乎。 #
- 你写过的自己觉着最牛X的黑程序? - 知乎。 #
- 学习Python很吃力,我是不是可以放弃编程了? - 知乎 #
- Python爬虫传送post请求要携带哪些参数? - 知乎。 #
- 不想拿学位证的计算机在校生? - 知乎。#
- 你在实验室经历过最危险的事情是什么? - 知乎。 #
- 如果你能预知未来,你会不会更加努力? - 知乎。 #
118
13 条评论
分享
收藏
感谢
收起
知乎用户
6 人赞同了该回答
爬虫选手推荐在电脑上安装一款抓包工具,比如fiddler2,比如charles.
有什么用:
1.分析网络请求,浏览器自带的调试工具与抓包工具各有优势。抓包工具的优势更专业,工具更多。同时有一些浏览器工具做不到的功能,比如可以查看python的网络请求,编码工具。用这个调试POST的参数非常方便,修改之后点击执行就可以看到返回结果,比浏览器更人性化。
2.抓手机APP的数据包,这个就不是无往不利了,但是很多时候的确可行。APP很多内容也是通过HTTP协议传输的,这部分内容也可以通过抓包工具得到网址,如果没有加密,通过工具也是可以模拟的。不过这个因为是客户端-服务器的形式,加密手段很多,所以有安全意识的APP很难实现解密。
既然抓包是爬虫必须的技能,掌握一些工具也就是应该的了,总用浏览器的开发者模式,有点用记事本写代码的感觉,不能说不对,但总归不是最好的解决方案。具体工具的用法就交给度娘吧。
6
添加评论
分享
收藏
感谢
又一只码农
3 人赞同了该回答
借着十四君的话,只要两步就可以把任何请求导入Postman。
1. 在Chrome 审查元素界面的network下,右键请求 -> 复制为cURL
2. Postman点击Import,选择Paste Raw Text,粘贴
Done! 愉快地调参吧!
转载于:https://my.oschina.net/airship/blog/1501334