HTTP错误获取URL
问题描述:
我试图分析此网站与Jsoup:http://www.listofnewspapers.com/2014/04/site-map.html但我得到这个错误:HTTP错误获取URL
For ' http://www.listofnewspapers.com/2014/04/site-map.html ': HTTP error fetching URL"
我相信错误是在connect(URL).get()
发生。
我打印状态码用于调试目的,我得到200
。
我尝试过与其他多个网站,他们连接好。
答
这似乎像用户代理被过滤。尝试建立一个:
Jsoup.connect(URL).userAgent("Mozilla").get()
答
使用火狐的userAgent:
.userAgent("Mozilla")
例如:
Jsoup.connect("https://stackoverflow.com/questions/44349297/http-error-fetching-url").userAgent("Mozilla").get();
的可能的复制【JAVA JSoup错误获取URL] (https://stackoverflow.com/questions/36780047/java-jsoup-error-fetching-url) –