可同时运行多少个Mapreduce作业

Question

我想知道在单个节点hadoop环境中可以同时提交/运行多少个Mapreduce作业。是否有任何限制？

Answer 1

从配置的角度来看，我没有任何限制。你可以设置地图的数量，并减少插槽到任何你想要的。但实际上，每个插槽必须启动一个能够运行一些hadoop代码的JVM，这需要一定量的内存，因此最终会导致计算机内存不足。您可能还必须巧妙配置作业队列，以便同时运行多个作业队列。

现在，什么是可能是比什么是一个好主意，一个非常不同的问题...

Answer 2

配置群集时会设置Reducer插槽的数量。这将根据每个作业请求的Reducers数量限制MapReduce作业的数量。映射器通常受每个节点的DataNode数量和处理器数量的限制。

Answer 3

您可以提交尽可能多的作业，他们将排队等候，调度程序将根据FIFO（默认）和可用资源运行它们.Hadoop执行的作业数量将取决于上述John的描述。