需求描述

需要抓取某金融网站的期货数据，通过开启浏览器的开发者模式，找到接口url,其响应的数据正是我们所要的，但是当我们在浏览器地址栏中输入该url后，重定向到了该网站的期货主页,抓取不到数据。

解决方案

1. 找到请求的头部，在我们的curl请求代码中添加上该头部参数，模拟浏览器访问，如下图：
   

2. 在我们的代码中添加此头部信息，如下图：
   

3. 在抓取到数据后，发现数据为乱码，如下图：
   

4. 经检查，是返回的数据进行了压缩，添加curl参数：

curl_setopt($ch, CURLOPT_ENCODING, 'gzip,deflate');//解析gzip,deflate内容

5. 重新进行请求，成功返回数据：
   
6. 下面附上程序主要代码;

public function catchData(){
        $url="https://cn.investing.com/common/modules/js_instrument_chart/api/data.php?pair_id=8830&pair_id_for_news=8830&chart_type=area&pair_interval=3600&candle_count=120&events=yes&volume_series=yes&period=";
        $headers=[
            'Accept:text/html,application/xhtml+xml,application/xml,application/json, text/javascript, */*; q=0.01',
            'Accept-Encoding:gzip, deflate, br',
            'Accept-Language:en-US,en;q=0.5',
            'Cache-Control:max-age=0',
            'Connection:keep-alive',
            'Cookie:StickySession=id.22115874781.5…gat=1; _gat_allSitesTracker=1',
            'Host:cn.investing.com',
            'Referer:https://cn.investing.com/commodities/gold',
            'User-Agent:Mozilla/5.0 (X11; Ubuntu; Linu…) Gecko/20100101 Firefox/65.0',
            'X-Requested-With:XMLHttpRequest',
        ];
        $ch = curl_init();//初始化curl
        curl_setopt($ch, CURLOPT_URL,$url);//抓取指定网页
        curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);//指定头部参数
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//结果不输出到屏幕上
        curl_setopt($ch, CURLOPT_POST, 0);
        curl_setopt($ch, CURLOPT_ENCODING, 'gzip,deflate');//这个是解析gzip，deflate压缩的内容

        $data = curl_exec($ch);//运行curl
        curl_close($ch);

        print_r($data);
    }

博主留言

今天处理这个问题搞了1,2个小时，觉得有必要记录一下，有同样的问题的小伙伴可以参考下。
很少写博客，写的不好的地方，请轻喷。