设置2 youtube bigquery传输(每个拥有者ID一个),使用相同的后缀,因此数据会传到同一个表中。传输中缺少大量数据

设置2 youtube bigquery传输(每个拥有者ID一个),使用相同的后缀,因此数据会传到同一个表中。传输中缺少大量数据

问题描述:

通常,我每天获得的数据范围应该超过100,000条记录。但是,当我设置2 bigquery传输(每个所有者ID一个),使用相同的后缀,所以数据转到同一个表。该传输缺少大量数据。设置2 youtube bigquery传输(每个拥有者ID一个),使用相同的后缀,因此数据会传到同一个表中。传输中缺少大量数据

转移状态显示成功,但有些日子我只获得4000-5000条记录而不是100,000条以上的记录。但有些日子我得到了100,000条记录。

问题1:

这是可能的BigQuery只传输传输完的部分数据?我的理解是bigquery转移是“全部或没有”。如果成功,那么所有的转移都完成了。如果失败,则传输零记录。

虽然,我确实在某些情况下看到bigquery失败,但状态显示已完成。

问题2:

当我设置了两个转移,无论传输将数据发送到一个相同的表中,我可以看到巨大故障率增加。

在这个过程中,两次传输有可能以某种方式相互冲突吗?

好的。

我确认了。

例如,我有账户1和账户2

  1. 流水账1的转会,我得到了100,000行。
  2. 运行帐户2的转移,我得到了5000行。

但是我设置了两个帐号1的传输和帐户2的传送到同一个表(相同后缀)

  1. 我跑帐户1转,我得到了100,000行。
  2. 然后我运行帐户2传输,我失去了刚刚由帐户1传输生成的100,000行,但是我生成了5000行帐户2。

由BigQuery的专家咨询会。是。我无法设置两个传输将数据转储到一个表。由于bigquery传输回填是“删除并插入”。