springboot ELK 6.8 和 filebeat 配置

一、springboot的日志格式

<!--最新的格式,以每个详细以[]包装--> 方便logstash 已中括号过滤用

<pattern>[%d][%-5level][%thread][%logger][%msg]%n</pattern>

 

二、安装filebeat

正常安装参考官网,这里主要是如何获取日志

filebeat.inputs:
- type: log
  paths:
    - /u01/xxx-api/out.log
- type: log
  enabled: true
  paths:
    - /u01/xxx-api/out.log
  multiline.pattern: ^\[ #这里不是[开头的,就合并为多行
  multiline.negate: true
  multiline.match: after
 

三、安装logstash

正常安装参考官网,这里主要是如何接受filebeat的日志和传输到es的配置

filebeat-logstash.conf配置文件注意格式,utf-8格式和tab间隔

(重要)"(?<date>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3})\]\[(?<level>[A-Z]{4,5})\]\[(?<thread>[A-Za-z0-9/-]{4,40})\]\[(?<class>.*)\]\[(?<msg>[\s\S]*)"

input {
        beats {
                port => 5044
        }
}
filter {
        grok {
                match => {
                        "message" => "(?<date>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3})\]\[(?<level>[A-Z]{4,5})\]\[(?<thread>[A-Za-z0-9/-]{4,40})\]\[(?<class>.*)\]\[(?<msg>[\s\S]*)"
                }
        }
}
output {
        elasticsearch {
                hosts => ["127.0.0.1:9200"]
                index => "filebeat-logstash"
         }
}
 

四、安装es

参考官网安装

 

五、安装kibana

参考官网安装

 

最终显示效果

springboot ELK 6.8 和 filebeat 配置

 

 

参考文档:

https://www.jianshu.com/p/c801ec3a64e5