在气流主节点上运行一个特定的任务

Question

我有一个使用celery executor在不同工作节点上运行的任务列表的dag。不过，我想运行主节点上的其中一个任务。那可能吗？

Answer 1

是的，这是可能的。您可以设置特定的任务来收听特定的queues in Celery。气流文档涵盖它相当不错，但它的要点是：

1. 集上操作队列属性表示要在airflow.cfg

   特定节点从celery -> default_queue不同的值上运行任务

2. 通过指定需要在airflow worker -q queue_name上侦听的队列，在主节点上运行辅助进程。如果您希望工作人员听取多个队列，则可以使用逗号分隔列表airflow worker -q default_queue,queue_name