Spark的Master、Worker、Executor以及task等概念
1、先表结论,如下图所示:
2、文字说明:
每个Worker上存在一个或者多个ExecutorBackend 进程。每个进程包含一个Executor对象,该对象持有一个线程
池,每个线程可以执行一个task。
每个application包含一个 driver 和多个 executors,每个 executor里面运行的tasks都属于同一个application。
每个Worker上存在一个或者多个ExecutorBackend 进程。
每个进程包含一个Executor对象,该对象持有一个线程池,每个线程可以执行一个task
————————————————
版权声明:本文为****博主「汀桦坞」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.****.net/wiborgite/article/details/77750293