azkaban多指标的并行计算以及依赖
一个指标的计算图依赖图如下:
另外一个指标的计算如下:
可以看出这两个指标都是基于dwd
如果这两个指标分别都从最底层的依赖开始计算,显然有很多的重复计算
如何指定这两个指标在dwd计算完成后开始并行计算?
定义一个虚拟的job,将所有的ads层的job聚合起来
一个指标的计算图依赖图如下:
另外一个指标的计算如下:
可以看出这两个指标都是基于dwd
如果这两个指标分别都从最底层的依赖开始计算,显然有很多的重复计算
如何指定这两个指标在dwd计算完成后开始并行计算?
定义一个虚拟的job,将所有的ads层的job聚合起来