mapReduce——切片(split)

一. map mask与切片的关系

  1. map task的数量是由切片的数量决定的,有多少个切片,就启动多少个map task。
  2. 切片是一个逻辑的概念,指的是文件中数据偏移量范围。
  3. 切片的具体大小应该根据所处理的文件大小来调整
  4. split的重要作用是优化小文件场景

二. 提交job任务时获取切片split信息的源码流程

mapReduce——切片(split)