如何基于logstash配置中的时间戳在elasticsearch中索引日志？

Question

我有一个日志文件，并希望根据时间戳（例如gt> 24th oct）将日志索引到elasticsearch。我怎样才能为此配置logstash？由于ignore_older字段是用于多个文件，因此我无法使用它。

Answer 1

有几种方法可以完成这样的事情。最简单的方法取决于你的日期如何表示。例如，如果你在文件中的日期是在YYYY-MM-DD格式，你可以做一个字符串比较是这样的：

if ([timestamp] < '2015-01-01') { 
      drop {} 
    } 

如果不是的话，最好的办法是增加一个新的领域与@timestamp作为一个字符串。请注意，它将在格林威治标准时间

mutate { 
      add_field => [ "mydate", "%{@timestamp}"] 
    } 
    if ([mydate] < '2015-01-01') { 
      drop {} 
    } 
    mutate { 
      remove_field => ["mydate"] 
    }