用xpath库抓取丁香园指定页面内容

跟之前用的美味汤一样,xpath也是python爬虫用的一个库,用法大致相似:
1、在Mac上打开chrome的指定网页,http://www.dxy.cn/bbs/thread/626626#626626 ,检查–>network–>All–>Name,找到626626,–>Headers–>Requests Headers,可以看到请求的User-Agent(使用的是post请求)。
用xpath库抓取丁香园指定页面内容
2、下面在sublime里编写代码:
用xpath库抓取丁香园指定页面内容
User_Agent没显示全,下面是全的:
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3717.0 Safari/537.36
3、在Mac终端运行sublime里的代码:
用xpath库抓取丁香园指定页面内容
4、参考崔庆才xpath:
https://cuiqingcai.com/5545.html