[8]YARN原理
一、基本原理
YARN不懂运算模型,具有 通用性 ,不管是MapReduce, Spark, Storm 只要有符合规范的AppMaster,YARN就能启动分配与调度机制->底层解耦
NodeManager执行MapReduce任务细节:
二、运行模式的关键:RunJar进程
-
本地模式( 本地JVM For Debug )与集群模式( YARN JVM For Use )
运行模式与哪个文件系统无关,取决于配置文件:根据配置文件yarn-site.xml, mapred-site.xml初始化,默认情况(没有配置)是LocalRunJar -
如果想直接在eclipse中run main来启动集群运行模式,需要把本工程打包成xxx.jar,在Runner中conf.set(“mapreduce.job.jar”,“xxx.jar”)