java 获取微信公众号文章 使用搜狗微信搜索

1.搜索需要SNUID 获取方法

 // 获取snuid （因为sunid有时间和访问次数限制建议每次自动查询数据时更新一次） PHPSESSID IPLOC
  public String getSnuid() {
    CloseableHttpClient httpClient = null;
    CookieStore cookieStore = null;
    String url = "https://www.sogou.com/web?query=333&_asf=www.sogou.com&_ast=1488955851&w=01019900&p=40040100&ie=utf8&from=index-nologin";
    int timeout = 30000;
    String snuid = null;
    try {
      cookieStore = new BasicCookieStore();
      HttpClientContext context = HttpClientContext.create();
      context.setCookieStore(cookieStore);
      RequestConfig globalConfig = RequestConfig.custom().setCookieSpec(CookieSpecs.STANDARD).build();
      httpClient = HttpClients.custom().setDefaultRequestConfig(globalConfig).setDefaultCookieStore(cookieStore).build();
      HttpGet httpGet = new HttpGet(url);
      httpGet.setConfig(RequestConfig.custom().setSocketTimeout(timeout).setConnectTimeout(timeout).build());
      httpGet.setHeader("Cookie",
          "ABTEST=0|1488956269|v17;IPLOC=CN3301;SUID=E9DA81B7290B940A0000000058BFAB6D;PHPSESSID=rfrcqafv5v74hbgpt98ah20vf3;SUIR=1488956269");
      httpClient.execute(httpGet);
      for (Cookie c : cookieStore.getCookies()) {
        if (c.getName().equals("SNUID")) {
          snuid = c.getValue();
        }
      }
    }
    catch (Exception e) {
      e.printStackTrace();
    }
    return snuid;

  }

2.通过fiddler 分析出访问需要header 部分 其中注意Cookie 部分必须要有SUV SNUID 这两个  

   我自己使用的是 HttpClients  模拟浏览器访问 

  Referer 可以通过fiddler 查看其中的值，并填入。

      httpGet.setHeader("Host", "weixin.sogou.com");
      httpGet.setHeader("Connection", "keep-alive");
      httpGet.setHeader("Upgrade-Insecure-Requests", "1");
      httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36");
      httpGet.setHeader("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8");
      httpGet.setHeader("Referer", refererUrl);
      httpGet.setHeader("Accept-Encoding", "gzip, deflate, br");
      httpGet.setHeader("Cookie", "SUV=11F4A14A78A4DE3D5DB948F0493C5371;SNUID=" + SNUID + ";");
      httpGet.setHeader("Accept-Language", "zh-CN,zh;q=0.9,ja;q=0.8,en;q=0.7");

      HttpResponse response = httpClient.execute(httpGet);

以上可以回去到如下图部分的网页

3.查看页面源码发现标题的链接是这样的

这是如果直接点击右边部分的链接会直接出现

通过fiddler 可以发现Cookie 中没有 SUV 和 SNUID  而且 原来的Url 跳转链接的最后多了点内容 类似于 &k=*&h=*  (*代表任意的一个值)

通过分析js 源码 并按照其规则 使用java 代码写出了可以访问的Url

  // 解析微信文章url 动态添加 k 和 h
  public String createUrl(String url) {
    double b = Math.floor(100 * Math.random()) + 1;
    int newB = (new Double(b)).intValue();
    int a = url.indexOf("url=");
    int c = url.indexOf("&k=");
    if (-1 != a && -1 == c) {
      int temp = a + 4 + 21 + newB;
      String tempA = url.substring(temp);
      String newA = tempA.substring(0, 1);
      System.out.println(newA);
      url += "&k=" + newB + "&h=" + newA;
    }
    return url;
  }

这时我们就可以使用上面的url 访问   不要忘记添加header 

查看返回的内容为

这个url 就是我们的最终跳转的网址。

注： 因为搜狗微信的 搜索工具 功能暂时下线了 所以到的文章是搜狗微信的默认规则。