Elasticsearch性能可视化监控环境搭建(离线安装)
由于ES集群运行有时候不稳定导致数据无法正常读写,所以需要对各类影响因素进行监控,ES有提供cat API在命令行对ES集群健康状态以及其他指标,但只能查看实时状态,如果需要持续的关注集群的运行状态,必定是要定时将集群的各类指标数据进行存储,再结合可视化界面进行展示。由于elastic官方有提供这方面的支持,所以选定X-Pack和Kibana作为解决方案,本文简单介绍下安装步骤。
X-Pack与Kibana简介:
- X-Pack: Elastic Stack的一个插件,支持安全性,警报,监控,报告和图形等功能的扩展,在各类Elastic产品的配置文件中可以容易的控制是否启用指定功能(注意:ES6.3以后,默认自带X-Pack并且启用所有免费功能)
- Kibana: 可以在 Elasticsearch 中对数据进行视觉探索和实时分析,简单来说就是可以对ES中的数据进行可视化分析,存在ES中的数据,都可以在Kibana中进行设置从各个维度进行展示
环境介绍:
- 部署环境:CentOS7
- ES版本:6.2.4
一. 官网下载源文件
Kibana下载地址:https://www.elastic.co/cn/downloads/past-releases#kibana
根据安装方式下载对应格式文件,我选择的是rpm安装
X-Pack下载地址:https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-6.2.4.zip
下载好的文件为:
- kibana-6.2.4-x86_64.rpm
- x-pack-6.2.4.zip
二. 上传至服务器并安装
1.Kibana安装
sudo rpm --install kibana-6.2.4-x86_64.rpm
安装完成后,配置文件路径为:/etc/kibana,安装文件路径为:/usr/share/kibana
2.X-Pack安装
Elasticsearch和Kibana都需要安装X-Pack插件,并且ES集群中的每个节点都要安装。
2.1 进入Elasticsearch安装目录,如:/usr/share/elasticsearch/bin,执行安装命令:
./elasticsearch-plugin install file:/文件所在目录/x-pack-6.2.4.zip
出现如图步骤,输入两次确定后完成安装
2.2 进入Kibana安装目录,如:/usr/share/kibana/bin,执行安装命令
./elasticsearch-plugin install file:/文件所在目录/x-pack-6.2.4.zip
出现如图提示,该步骤需要等待几分钟,我是过了大概五六分钟才提示完成
3.配置文件
kibana.yml配置,主要配置有
#远程用户访问地址
server.host:0.0.0.0
#Elasticsearch节点地址
elasticsearch.url: "http://192.168.90.121:9200"
关于X-Pack功能启用/禁用的配置在kibana.yml和elasticsearch.yml进行配置,我这里只是用监控功能,而默认是启用所有功能的,所以把其他功能禁用,在配置文件中加入:
xpack.ml.enabled: false
xpack.graph.enabled: false
xpack.watcher.enabled: false
xpack.security.enabled: false
对应配置:
其余用法也可参照官网说明:https://www.elastic.co/guide/en/x-pack/6.2/installing-xpack.html#xpack-installing-offline
三. 启动并查看效果
先启动Elasticsearch,然后启动Kibana,rpm安装方式可使用sudo systemctl start kibana.service
启动
rpm安装方式说明:https://www.elastic.co/guide/en/kibana/6.2/rpm.html
其他方式请参考:
https://www.elastic.co/guide/en/kibana/6.2/index.html
启动成功后访问Kibana,默认端口为5601,这个可以在kibana.yml中更改
查看效果:
首页可以看到ES版本、节点数、节点资源使用情况、以及索引总数等概览
点击某分类可进入图表可视化界面,以时间为维度查看ES中各类指标的变化情况,节点信息中能查看各服务器ES堆内存、CPU使用率、数据读写情况、GC情况等众多指标
这里只是介绍一下Elasticsearch性能可视化监控环境搭建,其中众多指标的对比以及分析,还要进一步的学习。
四. 补充
最后,X-Pack默认使用期限是1个月,在Kibana中Management模块中可以按照提示进行Basic license 的申请,Basic license是包含了Monitoring监控模块的,步骤也很简单,填写一些信息后就行,认证后使用期限是1年。
本文纯属个人理解,如有不当,烦请指出,不胜感激。