【生产问题】线上CPU使用率过高问题排查
1、问题描述
最近在生产上遇到一个HashMap问题,高并发下HashMap扩容导致链表成环,导致CPU使用率过高。
2、问题排查
CPU利用率过高一般是因为出现了出现了死循环,导致部分线程一直运行。占用cpu时间。使用jstack工具dump出问题的那台服务器的栈信息。死循环的话,首先查找RUNNABLE的线程,找到问题代码如下:
HashMap在高并发的环境下会出现死循环,主要是在扩容的时候会出现循环链表。在jdk1.8里面不会出现这个问题。
3、定位问题总结
(1)查看系统状况
top 命令查看CPU、内存等使用情况
(2)定位问题线程
使用ps -mp pid -o THREAD,tid,time
命令查看该进程的线程情况,发现该进程的两个线程占用率很高
(3)查看问题线程堆栈
将线程id转换为16进制 # printf "%x\n" tid
(4) jstat查看进程内存状况
命令: jstat -gcutil
jstack命令打印线程堆栈信息,命令格式:jstack pid |grep tid
jstack
和 jmap
分析进程堆栈和内存状况
使用jmap
命令导出heapdump文件,然后拿到本地使用jvisualvm.exe分析。
命令: jmap [option] vmid
jmap -dump:format=b,file=dump.bin 6764
命令: jstack [option] vmid
jstack -l 6764 >> jstack.out