第6章-MapReduce的工作机制-笔记
作业的提交
可以只用一行代码来运行一个MapReduce作业:
JobClient.runJob(conf)。
作业的调度
Hadoop作业调度演进
1、早期版本的Hadoop使用FIFO调度算法来运行作业
早期版本的Hadoop使用一种非常简单的方法来调度用户的作业:
按照作业提交的顺序,使用FIFO(先进先出)调度算法来运行作业。
2、随后,通过设置mapred.job.priority或JobClient的setJobPriority()方法来设置优先级
3、Hadoop的调度器种类
在Hadoop中,MapReduce的调度器可以选择。
1)、默认的调度器是原始的基于队列的FIFO调度器。
2)、Fair Scheduler 公平调度器
3)、Capacity Scheduler
MapReduce的工作机制相关知识点:
1、通过调用什么代码运行一个MapReduce作业?
JobClient.runJob(conf);
2、hadoop运行作业的整个过程图解
3、hadoop运行作业的整个过程包含几个独立的实体?
它包含以下4个独立的实体:
1)、客户端:提交MapReduce作业。
2)、jobtracker:协调作业的运行。
jobtracker是一个Java应用程序,它的主类是JobTracker。
3)、tasktracker:运行作业划分后的任务。
tasktracker是一个Java应用程序,它的主类是TaskTracker。
4)、分布式文件系统(一般为HDFS)
用来在其他实体间共享作业文件。
转载于:https://my.oschina.net/HIJAY/blog/333030