MapReduce提交集群运行，Yarn调度MR流程
一、在windows下调试
产生不兼容问题时下载winunil.rar包解压覆盖配置文件到hadoop包bin目录下即可。
Map：
1.切分单词String line = value.toString();
2.遍历单词数据输出context.write(new Text(),new IntWritable());
Reduce:
1.拿到map给过来的结果对数据中的value.list遍历叠加得到一个单词的总次数
int count=0；count += value.get（）；
2.输出这一单词的统计结果context.write（）；
WCRunner：
1.job.getInstance(new Configuraion（）)；//设置环境配置
2.设置整个job所用的那些类在哪个jar包，job.setJarByclass（运行类.class）。
3.设置job使用的mapper和reducer的类
4.指定mapper的输出数据KV类型
5.指定reducer的输出数据KV类型
6.指定要处理的输入数据存放路径
7.指定要处理的输出数据存放路径
8.指定NodeManager运行的容器数量
job.setNumReduceTasks(1);
9.将job提交给集群运行
Boolean b = job.waitForCompletion(true);
System.exit(b ? 0 : 1);
二、Yarn：
是一个资源调度系统，主要负责任务的维持和任务分配需要运行的资源。
三、Resource Manager基本职能：
- 1.与客户端进行交互，处理来自于客户端的请求，如查询应用的运行情况等。
- 2.启动和管理各个应用的ApplicationMaster
- 3.管理NodeManager，例如kill container（容器）。
- 4.资源管理和调度，接收ApplicationMaster的资源申请，并为其分配。
四、job提交的逻辑及Yarn框架的技术机制
Job参数设置：
- job.split 指的是默认系统切分block 128M。
- job.xml 指的是configuration的配置。
- job.jar 指的是用打包命令生成的jar包。（路径+名字）
- 打包的命令：
1、mvn clean install Dmaven.test.skip
2、mvn clean package