ELK生态系统——es集群化各方面数据使用详图

ELK生态系统——es集群化各方面数据使用详图

es集群化各方面数据使用如上图所示,图解如下:

1、RDBMS(关系型数据库):

常见的关系型数据库比如:mysql、oracle、国产达梦、gbase等数据库,在这些关系型数据库之间数据可以通过kettle使用jdbc连接访问到数据库读取到数据,可以灵活自由的实现RDBMS之间数据跨库迁移、处理、关联等常用操作。

2、logstash数据处理工具:

logstash是处理RDBMS(关系型数据库)与NoSQL(非关系型数据库)之间数据交互的一个桥梁。可以实现数据在RDBMS和NoSQL之间的灵活自由迁移。

3、es集群:

通过多台设备搭建es集群,实现数据的分布式、高可用、高并发、高性能集群化。并且可方便的进行增加节点实现水平扩充集群规模,从而实现更大数据的处理。

4、java-web项目:

java代码可以访问集群中所有可能成为master的集群节点,从而实现从多个集群节点读取数据,自动负载均衡,缓解大量数据读取压力,实现大量数据的快速处理效果。

5、集群数据管理:

通过使用kibana或es-head等工具连接es集群中某一个可能成为master的集群节点,从而读取到整个集群数据分布信息。同时可以观察整个集群情况,管理集群信息。