我可以在没有设置mapred.reduce.tasks = 1的情况下发现min，max或avg mapred.reduce.tasks = 1

Question

我试图了解如何使用mapreduce查找非常大文件的min，max，Avg。将减少任务的数量设置为1，这是一个明显的解决方案，但对于非常大的文件来说这不是最佳的。我也在考虑写一份链接MR工作，但最终你最终会在最后的工作中使用一个减速器。有人可以通过其他方式来解决问题。

感谢

Answer 1

你需要编写逻辑弄清楚最小，最大或平均在减速器类。此外，我相信找出一个非常大的文件的min，max，avg将生成一个单一的输出文件。

Answer 2

我在这里看不到使用1个缩放器的问题，无论你的输入数据集是多大。为此，您应该使用组合器功能，它将返回其本地最大值，本地最小值，本地TotalSum和Count值并传递给单个reducer。这样，直到还原器的数据量非常少（与映射器数量成正比）。一旦这些小数据到达单个还原器，您可以找到全局最大值和最小值，并将总和除以总计数。