您的位置: 首页 > 文章 > 大数据开发面试部分：如何决定一个job的map和reduce的数量（大数据开发面试）

大数据开发面试部分：如何决定一个job的map和reduce的数量（大数据开发面试）

分类: 文章 • 2022-10-29 11:55:47

splitSize=max{minSize,min{maxSize,blockSize}}

map数量由处理的数据分成的block数量决定default_num = total_size / split_size;

reduce的数量job.setNumReduceTasks(x);x 为reduce的数量.

大数据开发面试部分：如何决定一个job的map和reduce的数量（大数据开发面试）