ELK环境搭建步骤

ELK：ElasticSearch、Logstash、Kibana

用途：开源的日志分析系统

ELK组件角色：

ElatsicSearch:基于Solr的全文检索引擎，近实时搜索
Logstash:数据收集工具，将数据输入ElasticSearch(准备索引数据)
Kibana: Web UI工具，给客户提供搜索引擎的可视化数据分析服务

环境：Debian 9
注意：低版本的Linux内核可能回出现警告，建议使用高版本

小技巧：

建议虚拟机配置主机名-IP映射（hosts文件），使用IP地址时直接通过主机名映射

ELK产品系列bin目录统一放入PATH路径，方便直接调用

将ELK数据交互端口加入防火墙规则，避免被屏蔽导致外系统无法访问
sudo firewall-cmd –zone=public –add-port=9200/tcp –permanent
sudo firewall-cmd –reload

ElasticSearch安装步骤：

步骤：解压ES压缩包，修改elasticsearch-6.2.2/config/elasticsearch.yml文件

启动ES:
elasticsearch -d（后台运行）
启动成功效果：

可能报错：

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决方案：

1.修改/etc/sysctl.conf，添加下列配置信息vm.max_map_count=655360
2.修改文件/etc/security/limits.conf（限制线程访问个数，重启生效）
* soft nproc 4096
* hard nproc 4096

3.配置(/etc/sysctl.conf)生效：sudo sysctl -p
注意：部分系统不会立即生效，最好配置完成后系统重启

Logstash安装步骤：

步骤：创建/logstash-6.2.2/config/log4j-pipeline.conf 文件
input {
log4j {
mode => “server”
host => “debian”
port => 4560
}
}

output {
elasticsearch {
hosts => [ “debian:9200” ]
index => “log4j-%{+YYYY.MM.dd}”
document_type => “log4j_type”
}
}

功能：将log4j的日志接入Logstash