使用GET方法将数据流式传输到Google BigQuery?

问题描述:

我需要一个很好的解决方案,最好是现有的解决方案,例如Google Rest API,以便将数据传输/插入到BigQuery中。我不想使用POST方法发送数据 - 出于许多设计原因。我期望每秒写入数千次。数据将被附加到url的查询参数中。它与谷歌分析非常类似,使用Get方法发送分析数据。使用GET方法将数据流式传输到Google BigQuery?

谷歌云功能(GCF)解决了这个问题。 GCF仍处于测试阶段,但大多数谷歌产品都处于测试阶段。 GCF无服务器,可以用几行代码编写http触发器。欲了解更多信息,请访问 - >https://console.cloud.google.com/functions

这里有一个礼物:

http://dmitriilin.com/exporting-data-google-analytics-google-bigquery/ https://github.com/lnklnklnk/ga-bq

如果您有任何额外的问题问我,我这个解决方案工作。

+0

感谢Marco,但我最终使用Google Cloud功能,解决了这个问题。 – ituring

我也可能鼓励您使用类似Dataflow流式管道的东西来处理这些插入,而不是直接调用API。