BigQuery:为什么Table Range Decorators有时会返回错误的结果?

问题描述:

自5月以来,我一直在使用Table Range Decorators功能,以便仅查询我的某些表中最近7天的数据。BigQuery:为什么Table Range Decorators有时会返回错误的结果?

自2周以来,我注意到当我使用该功能时有时会丢失一些数据。例如,如果执行查询以获取最近7天的结果(通过将“@ -604800000--1”添加到表),则会丢失一些数据,而不是如果我在整个表上查询(没有表格装饰)。

我不知道什么可以解释这一点,如果有一个修复即将到来解决这个问题?

如果这可以帮助BigQuery团队,我注意到在使用Table Decorators时,在16:00和20:00 UTC时间之间,10月16日我们缺少了一些数据。

对于BigQuery的团队这里有2点作业的ID,其中一些数据丢失:job_-xtL4PlIYhNjQ5weMnssvqDmd6Ujob_9ASNxqq_swjCd1eMmiQ6SmPpxlQ

和1个作业id其中的数据是正确的(不含装修):job_QbcRwYGbQv0BZdHreQEvRlYh-毫

这是一个包含时间范围的表装饰器的已知问题。由于BigQuery中存在一个错误,某些时间范围可能会忽略应包含在时间范围内的数据。

我们正在进行修复并计划下周发布它。在此修复程序部署后,时间范围装饰器应再次按预期工作。

+1

请您详细说明一下吗?我想知道这个bug何时何地受到影响,所以我可以修复它在我身边导致的衍生问题。 – 2014-10-19 06:43:07

+1

当范围装饰器用于附加到许多小块中的表时,可能会发生此问题,因此BigQuery压缩了表格表示。如果时间范围装饰器重叠压缩时间段,则需要展开压缩操作。这里有一个错误,所以有些数据可能会被忽略。不幸的是,很难判断这是什么时候发生的。我们确实有一个解决方案,并希望尽快发布。 – 2014-10-19 21:03:42

+1

伙计们,能否请您更新有关修复时间表的问题?这是现在2周以来的主要错误。此错误导致我的BI系统显示错误的数据,因此我的用户对基于BQ的解决方案失去了信心。而且它的成本退出了一点,因为我需要在部分数据自动运行后再次手动运行所有内容。 (这个bug被处理的方式会导致BQ失分......我被问及是否应该寻求其他分析Infra) – 2014-10-22 06:22:42