基于CentOS 7.2的CDH 6.3.2 其它配置项
基于CentOS 7.2的CDH6.3.2离线安装
https://blog.****.net/qq_40180229/article/details/108755530
基于CentOS 7.2的CDH 6.3.2完整集群添加
https://blog.****.net/qq_40180229/article/details/108756561
基于CentOS 7.2的CDH 6.3.2 Hadoop配置
https://blog.****.net/qq_40180229/article/details/108770544
HDFS配置域名访问
在阿里云环境下 Hadoop集群必须用域名访问，不能用IP访问，开启如下配置dfs.client.use.datanode.hostname
设置物理核和虚拟核占比
我的机器是每台4核，一般真实场景下物理核和虚拟核对比值为1:1或1:2，修改配置，每台机器物理核4核虚拟成8核yarn.nodemanager.resource.cpu-vcores
修改单个容器下最大cpu申请资源
修改yarn.scheduler.maximum-allocation-vcores参数调整8核
设置每个任务容器内存大小和单节点大小
将每个任务容器默认大小从1G调大至2G，当前集群环境下每个节点的物理内存为4G，设置每个yarn可用每个节点内存为3G
- 修改yarn.scheduler.maximum-allocation-mb 每个任务容器内存所需大小
- 修改yarn.nodemanager.resource.memory-mb每个节点内存所需大小
关闭Spark动态分配资源参数
关闭spark.dynamicAllocation.enabled 参数否则分配的资源不受控制
修改HDFS副本数
dfs.replication修改副本数为1
设置容量调度器
CDH默认公平调度器，修改为容量调度器
设置队列
默认root队列，可以进行修改,添加3个队列spark,hive,flink，spark资源设置占yarn集群40%,hive设置占yarn集群20%,flink设置占40%