目录 start

1. ELK
   1. ElasticSearch
   2. Logstash

目录 end|2020-08-18 17:49|

ELK

5 Good Reasons to Use a Log Server

• 整体架构为Logstash采集日志输出文件，制定解析格式，存入ES，Kibana用于展示
• 此时可以优化日志输出，区分不同的字段（时间，线程，方法），方便解析为不同字段，索引优化

ElasticSearch

ElasticSearch

UI

1. appbaseio/dejavu
2. cars10/elasticvue
3. cerebro

Logstash

Official Doc
Logstash 最佳实践

常用于 数据的采集 过滤，配置文件使用 Ruby 编写

1. input 数据源 通过 input plugin 可支持 JDBC Kafka 文件流 HTTP 等等
2. filter 数据源做处理 类似于 Java8 中 Stream 表达式 中的map filter等函数，对数据进行处理
3. ouput 输出数据源 对应 output plugin

解析嵌套JSON message内content

1
2
3
4
5
6
7
8

filter{
    json {
        source => "message"
        target => "parsed"
        add_field => {"content" => "%{[parsed][content]}"}
        remove_field => ["parsed"]
    }
}

增减字段

1
2
3
4
5
6

filter {
    mutate {
        add_field => { "[@metadata][program]" => "%{program}" }
        remove_field => "[program]"
    }
}

• 使用指定配置文件且自动重载 bin/logstash -f app.conf –config.reload.automatic