Java+Jsoup爬虫微博
源码链接：https://pan.baidu.com/s/1oOAxJqSMCyVJPNv-iAYW7A
提取码：1co9
Java+Jsoup爬虫小红书，微博，B站
爬取地址：https://weibo.com/1234692083/Ixnp6nuPk
目标：抓取文章的转发量，评论量，点赞量
1.F12分析下页面
2.使用Jsoup进行抓取
这里发现，毛都没有取到，找了半天没线索
在使用get请求试一下
这啥玩意？？？
问下度娘，原来这是（新浪访客系统），想要获取到微博的静态页面，需要在请求头里埋入Cookie
感谢大佬提出的思路让我少走了很多弯路：微博爬虫之：无需账号获取微博weibo的Cookie
如何获取Cookie?
请求俩接口得到必要的参数就ok了
接口1：https://passport.weibo.com/visitor/genvisitor?cb=gen_callback（返回tid）
接口2：https://passport.weibo.com/visitor/visitor?a=incarnate&t=接口1里的tid&w=3&c=100&cb=cross_domain&from=weibo（返回sub和subp）
Cookie：Sub=接口2的sub; SUBP=接口2的subp
之后使用Jsoup，Cookie带入请求头，获取微博静态页面析出需要的值即可
分析了一下，数据在js里，需要解析出来
我们需要的值在这里的html属性下，想尽一切方法，取出来就行，如何取出
分析了一下后，我决定用正则方式删选出要的数据，在替换掉前后符号，在转为json，调出对应值即可
开头：FM.view(
结尾：)
就可以遍历，拿到所有符合这个规则的数据
替换前：FM.view(
替换后：
替换前：)
替换后：
转为json格式
遍历：ns==pl.content.weiboDetail.index的html属性取出
字符串转为Jsoup
Jsoup.parseBodyFragment(html)
分析结构，解析数据
获取.WB_row_line下的span.S_line1下的第二个em
.WB_row_line span.S_line1 em:nth-child(2)
将4个em存入list集合
取2，3，4即可