azkaban多指标的并行计算以及依赖

一个指标的计算图依赖图如下:

azkaban多指标的并行计算以及依赖

另外一个指标的计算如下:

azkaban多指标的并行计算以及依赖

可以看出这两个指标都是基于dwd

如果这两个指标分别都从最底层的依赖开始计算,显然有很多的重复计算

如何指定这两个指标在dwd计算完成后开始并行计算?

定义一个虚拟的job,将所有的ads层的job聚合起来

azkaban多指标的并行计算以及依赖