任何工具都可以帮助获取日志的图形表示

Question

我们有一个工具，它将有大量日志存储在s3存储桶中。日志将有补救的东西的信息..从1000到320（1000，320被删除）。我们希望代表该工具的重要性。修复不需要的东西有多好。

是否有任何开源工具，我可以用它来获取图形表示，将输入作为s3桶中的日志。

任何意见表示赞赏。谢谢

Answer 1

即使这是广泛的SO这里你可以开始。

看看ELK (Elasticsearch+Logstash+Kibana)“堆栈”。

Logstash有S3 input，你可以用它来然后把你的日志Elasticsearch，你会得到你的图了Kinaba

的logstash例如配置的（无滤波或调整日志）看起来是这样的：

input { 
    s3 { 
     access_key_id => "ACCESS_KEY_ID" 
     bucket => "BUCKET" 
     region => "REGION" 
     secret_access_key => "SECRET_ACESS_KEY" 
     prefix => "/" 
     type => "s3" 
    } 
} 

output { 
    elasticsearch { 
     host => "ELASTICSEARCH_URL" 
    } 
}