《DS调度实时任务优化》详细设计

《DS调度实时任务优化》详细设计

需求背景:
由于ds的主从结构,且在了解ds的相关运行原理后,发现ds会占用大量的线程
尤其是实时任务会一直占用线程轮询yarn上flink任务的执行状态,而我们的最终方案是直接通过yarn获取任务的执行状态,换言之,不需要ds上保存flink任务的执行状态。所以这里的改造方案:当flink任务提交成功后,直接将ds上该任务的状态置为成功,则ds不会持续轮询。

一、DS调度实时任务现状

1、ds调度任务的总体流程:

《DS调度实时任务优化》详细设计

2、ds调度实时任务的代码分析:

2.1 master轮询更新状态:

《DS调度实时任务优化》详细设计

2.2 worker中任务的状态更新:

《DS调度实时任务优化》详细设计

二、DS调度实时任务的改造方案:

1、目前调用链:

《DS调度实时任务优化》详细设计

2、改造后调用链:

《DS调度实时任务优化》详细设计