ELK日志分析系统及案例构建详细过程

一，ELK日志分析系统简介

1，日志服务器

• 提高安全性
• 集中存放日志
• 缺陷
  • 对日志的分析困难

2,ELK日志分析系统

• ELasticsearch
• logstash
• kibana

3，日志处理步骤

• 1，将日志进行集中化管理
• 2，将日志格式化（logstash)并输出到elasticsearch
• 3,对格式化后的数据进行索引和存储（elasticsearch ）
• 4，对前段数据的展示（kibana）

二，elasticsearch介绍

1，ELasticsearch概述

• 提供了一个分布式多用户能力的全文搜索引擎

2，ELasticsearch核心概念

• 接近实时
• 集群
• 节点
• 索引
  • 索引（库）–类型（表）–文档（记录）
• 分片和副本

三, logstash介绍

1，logstash概述

• 一款强大的数据处理工具
• 可实现数据传输，格式处理，格式化输出
• 数据输入，数据加工（如过滤，改写等）以及数据输出

2，logstash主要组件

• Shipper ：日志收集者。负责监控本地日志文件的变化，及时收集最新的日志文件内容。
• lndexer : 日志存储者,负责接收日志并写入到本地文件。
• Broker ：日志 Hub。负责连接多个 Shipper 和多个Indexero
• Search and Storage:允许对事件进行搜索和存储
• Web Interface : 基于Web的展示界面。
  在Logstash中，包括了三个阶段，分别是输入（Input )、处理(Filter，非必需）和输出（Output)

四，Kibana介绍

1，Kibana概述

• 一个针对ELasticsearch的开源分析及可视化平台
• 搜索，查看存储在ELasticsearch索引中的数据
• 通过各种图表进行高级数据分析及展示

2，Kibana主要功能

• ELasticsearch无缝之集成
• 整合数据，复杂数据分析
• 让更多团队成员收益
• 接口灵活，分享很容易
• 配置简单，可视化多数据源
• 简单数据导出

五，部署elk日志分析系统

1.需求描述

• 配置ELK日志分析群集
• 使用Logstash收集日志
• 使用Kibana查看分析日志

2, 案例拓扑