cURL导致503;页面在浏览器中正常工作。

问题描述：

我试图用cURL从网页上实用地收集信息。我需要的信息非常基本，而且页面非常基本。cURL导致503;页面在浏览器中正常工作。

使用cURL时，我收到503错误。当我在同一台机器的浏览器中访问同一页面时，页面加载非常好。我读到这可能是由于网站要求在查询时传递cookie。我已经尝试过了，但是我承认，我可能做错了（我从Web浏览器的检查器中截取了cookie）。

curl --cookie "sessionId=.eJxrYKotZNQI5S9OLS7OzM-LT81LTMpJTfFmChVIzEktKolPzkhNzo4vycxNLWRKTkksSQUxueCMQuZQLvaHHGI82lqMp0KTCypLqrjiQ0OcuQpZNIMKWduCCtlCuUvyi-NLC0B6UgrZO0v1ACyMJy0:1dk8X0:WIgK35IaFa7RbCe7EqpSMtLjK9w" https://www.appannie.com/en/apps/ios/app/284815942/ -o /tmp/test.html

我是一个非常基本的用户;具有非常基本的知识。有一个很好的机会我错过了明显的东西。如果这是一个重要的警告，我已经收集了我正在尝试使用nginx访问的站点。

有些服务器就是不喜欢它，当你没有一个用户 - 代理头，也许尝试更精细的请求，包括真正的头文件？ –

答

有些网站将禁用卷发用户代理和一些禁用浏览与丢失的标题。我想下面卷曲和它的伟大工程

curl 'https://www.appannie.com/en/apps/ios/app/284815942/' -H 'pragma: no-cache' -H 'dnt: 1' -H 'accept-encoding: gzip, deflate, br' -H 'accept-language: en-US,en;q=0.8' -H 'upgrade-insecure-requests: 1' -H 'user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36' -H 'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8' -H 'cache-control: no-cache' -H 'authority: www.appannie.com' --compressed

这是浏览器如何使得它，这是你应该尝试复制

这是完美的！谢谢！ – chippewa

cURL导致503;页面在浏览器中正常工作。

相关推荐