CDH4/5配置文件之深度解析



一.目录

CDH4/5配置文件之深度解析

二.实验1.web 界面,直接修改MapReducemapreduce.job.counters.max参数,120改为150,单击【保存更改】按钮,直接修改到数据库, 而不同步更新到/ect/hadoop/* /var/run/cloudera-scm-agent/process/* 

CDH4/5配置文件之深度解析CDH4/5配置文件之深度解析

A.这时界面会出现两个按钮:

1>.【过期配置:需要重启】

CDH4/5配置文件之深度解析

2>.【过期配置:需要重新部署客户端配置】

CDH4/5配置文件之深度解析


B.当我们单击【过期配置:需要重启】或者【过期配置:需要重新部署客户端配置】功能默认是一样的,都是a.重新部署客户端配置(默认勾选) ;b.立即重启集群

CDH4/5配置文件之深度解析

然后集群会做两件事:

1>.会更新/etc/hadoop/*目录

CDH4/5配置文件之深度解析

2>.同时也更新/var/run/cloudera-scm-agent/process/*目录

CDH4/5配置文件之深度解析


三.实验2.再次在web 界面,直接修改MapReducemapreduce.job.counters.max参数,150改为180,单击【保存更改】按钮,直接修改到数据库

CDH4/5配置文件之深度解析

A.
当我们单击【部署客户端配置】
CDH4/5配置文件之深度解析


1>.会更新/etc/hadoop/*目录

CDH4/5配置文件之深度解析

2>.同时也更新/var/run/cloudera-scm-agent/process/*目录,但只生成ccdeploy_*部署文件夹,但这时mapreduce 运行的mapreduce.job.counters.max值还是150,并没有改变为180,故可以重启mapreduce服务或者整个集群,来重新生成配置文件。

 CDH4/5配置文件之深度解析


B.重启MapReduce单个服务

CDH4/5配置文件之深度解析

只更新/var/run/cloudera-scm-agent/process/*目录
CDH4/5配置文件之深度解析

#因为只重启MapReduce服务,没有重启其他服务,如Hive,所以就只更新MapReduce

四.个人理解总结:

    cm web界面修改------>数据库表configs------->/etc/hadoop/*------->/var/run/cloudera-scm-agent/process/*

1.       a.web界面修改参数,保存,configs

2.       b.重新部署客户端,/etc/hadoop/的某个目录下,然后通过alternatives命令动态更新到conf文件夹;且会在/var/run/cloudera-scm-agent/process/目录下生成deploy文件夹  

3.       c.重启集群或者重启单个服务,会在/var/run/cloudera-scm-agent/process/目录下生成各个组件的运行的配置文件夹(是有序号标识的)

CDH4/5配置文件之深度解析

http://blog.itpub.net/30089851/viewspace-1991862/