hadoop中NameNode节点CPU使用量高 解决方案(亲测)
集群中任务执行超慢,查原因
top一下
查看19118进程
发现这个节点是NameNode节点
然后
ps aux |grep 19118
jstat -gcutil 19118 1000 1000查看jvm GC
GC超高
问题就是namenode负载太高,内存不够用导致CPU飙升
解决方案调整hadoop_namenode_heapsize参数调到16G(按照集群情况定)
HADOOP_SECONDARYNAMENODE_OPTS="-Xmx16384m"(namenode和SecondaryNameNode保持一致)
然后重启NameNode和SecondaryNameNode
观察GC回收状况
恢复正常