设置2 youtube bigquery传输(每个拥有者ID一个),使用相同的后缀,因此数据会传到同一个表中。传输中缺少大量数据
问题描述:
通常,我每天获得的数据范围应该超过100,000条记录。但是,当我设置2 bigquery传输(每个所有者ID一个),使用相同的后缀,所以数据转到同一个表。该传输缺少大量数据。设置2 youtube bigquery传输(每个拥有者ID一个),使用相同的后缀,因此数据会传到同一个表中。传输中缺少大量数据
转移状态显示成功,但有些日子我只获得4000-5000条记录而不是100,000条以上的记录。但有些日子我得到了100,000条记录。
问题1:
这是可能的BigQuery只传输传输完的部分数据?我的理解是bigquery转移是“全部或没有”。如果成功,那么所有的转移都完成了。如果失败,则传输零记录。
虽然,我确实在某些情况下看到bigquery失败,但状态显示已完成。
问题2:
当我设置了两个转移,无论传输将数据发送到一个相同的表中,我可以看到巨大故障率增加。
在这个过程中,两次传输有可能以某种方式相互冲突吗?
答
好的。
我确认了。
例如,我有账户1和账户2
- 流水账1的转会,我得到了100,000行。
- 运行帐户2的转移,我得到了5000行。
但是我设置了两个帐号1的传输和帐户2的传送到同一个表(相同后缀)
- 我跑帐户1转,我得到了100,000行。
- 然后我运行帐户2传输,我失去了刚刚由帐户1传输生成的100,000行,但是我生成了5000行帐户2。
由BigQuery的专家咨询会。是。我无法设置两个传输将数据转储到一个表。由于bigquery传输回填是“删除并插入”。