kudu tablet server出现异常退出(Too many open files)

某台tablet server 在停机一断时间后，再次启动，某些tablet server出现异常退出，查看日志报错：
打开数据文件 报”Too many open files ” 错误。
该错误明显打开的文件句柄数，超过系统设置的ulimit数。
ulimit -a查看：open files (-n) 65536 已经为65536了，说明tablet server打开的句柄数超过65536个文件。

[[email protected] data]# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 514986
max locked memory       (kbytes, -l) unlimited
max memory size         (kbytes, -m) unlimited
open files                      (-n) 65536
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) unlimited
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

查看进程打开的文件：
ls /proc/进行ID/fd
打开的文件句柄超过6万多

解决办法：有如下二个

1. 修改系统的文件数限制。
2. 在CDH上修改 kudu文件句柄配置（采用了该方法）。
   直接在cdh上修改kudu的配置，将“最大进程文件描述符”设置为： 257447 这样kudu最大能同时打开25万个文件。