ELK基础篇-ELK概述
ElasticSearch, Logstash, Kibana,主要用于大规模的日志存储分析和查询。传统的日志查询方式需要开发人员直接定位日志文本,效率低下。
对于一个完善的日志处理系统,需要有以下功能才是合格的
数据源的多样性采集
合理的数据存储
高效的查询
美观的UI页面
个人认为,按照数据采集处理展示的先后顺序应该是LEK这样才对
Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。进行数据的存储。
Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。进行数据的采集处理工作。
Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。
这三款开源工具,可以构建一个强大的日志分析管理系统,感觉比之前的hadoop系列工具+birt/echart来的快多了。简单易用
上一张整体的架构图
这就是整个过程,接下来会依次介绍E,L,K的单独使用