使用EFK快速搭建安全可靠的日志服务

国梁的学习笔记

2019-06-30

1 前言

EFK是一套分布式日志服务解决方案，由各个组件构成。EFK分别是指：elasticsearch、filebeat、kibana。不过在真实的生产环境中，搭建日志服务可能还需要logstash来进行规制解析，使用kafka进行削峰填谷作为缓冲。在本文中，我主要介绍如何使用elasticsearch+filebeat+logstash+kibana来快速搭建一套分布式日志服务，来接入线上的多个产品线，并进行日志的统一管理。

2整体框架及各组件介绍

2.1 整体框架

使用EFK快速搭建安全可靠的日志服务

2.2 各组件简介

filebeat：作为agent部署在需要收集日志的服务所在的机器上，进行日志的收集；
logstash：接收来自filebeat的日志流，进行规则解析，写入到es；
elasticsearch + searchguard：es用于日志的存储、查询；searchguard用于对es索引的安全防护；
kibana：进行日志查询的可视化界面。

3 日志收集&传输

3.1 logstash作为agent

在最初的ELK方案中，是将logstash作为agent部署在各个client上的进行日志的收集、解析直接写入到es中。但是在要接入的服务非常多、日质量不断增大的场景中，这种方式会造成以下影响：

logstash非常占用内存，会影响到部署到本机器上的线上服务
直接写es会对es造成非常大的压力

filebeat使用go进行开发的，其轻量级特性非常适合作为agent进行部署。在本文的日志服务中，filebeat所扮演的角色，就是作为agent进行日志的收集，以及对于java异常日志multiline的处理。

3.2 filebeat作为agent

各公司都应该有自己的线上服务部署平台，由于要收集的服务是分布在许多不同的机器上的。建议将filebeat封装为一个服务，直接将二进制包打包到要部署服务的包中，根据不同的沙盒或者线上环境加载不同的filebeat.yml配置文件进行安装即可。

3.2.1 filebeat的日志收集文件说明

举例说明，我们要收集sonofelice模块的sonofelice.debug.log中的日志，针对这一个日志文件需要配置一个sonofelice_debug.yml日志收集文件，以便filebeat开启一个harvest通道开始日志收集。具体配置示例如下：

- type: log
  enabled: true
  paths:
    - /home/work/logs/sonofelice/debug/sonofelice.debug.log
    - /home/work/logs/sonofelice/debug/sonofelice.debug.log*/*.debug.log
  ignore_older: 72h
  close_inactive: 1h
  multiline:
    pattern: '^\d\d\d\d-\d\d-\d\d \d\d:\d\d:\d\d'
    negate: true
    match: after
  fields:
    productline: test
    module: sonofelice
    submodule: api
    type: debug
    language: java
    logpattern: java-std
    region: bj

在上述配置中，必选项及解释可以参考博客：https://www.cnblogs.com/smile...
上述配置中的各个字段会对应为es中的具体的document中的field。

3.2.2 filebeat.yml文件说明

在本文示例中通过filebeat写入的logstash，因此只需要配置如下几个部分即可。

Filebeat modules模块用于配置3.2.1中对于每个日志文件配置的日志收集文件所在的路径。
Logstash output部分用于配置要写入的logstash的各节点服务地址，以及证书相关信息

#============================= Filebeat modules ===============================
filebeat.config.modules:
  # Glob pattern for configuration loading
  path: ${path.config}/modules.d/*.yml
  # Set to true to enable config reloading
  reload.enabled: true
  # Period on which files under path should be checked for changes
  reload.period: 10s
path.data: /home/filebeat/data
filebeat.shutdown_timeout: 300s
filebeat.config.inputs:
  enabled: true
  path: inputs/*.yml
  reload.enabled: true
  reload.period: 10s
queue.mem:
  events: 4096
  flush.min_events: 512
  flush.timeout: 1s
#output.console:
#  pretty: true
#----------------------------- Logstash output --------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["logstash-hosts1:5044", "logstash-hosts2:5044", "logstash-hosts3:5044"]
  loadbalance: true
  # Optional SSL. By default is off.
  # List of root certificates for HTTPS server verifications
  ssl.certificate_authorities: ['${FILEBEAT_ROOT_CA_PATH}']
  # Certificate for SSL client authentication
  ssl.certificate: '${FILEBEAT_CRT_PEM_PATH}'
  # Client Certificate Key
  ssl.key: '${FILEBEAT_KEY_PEM_PATH}'

为了确保安全性，我们开启了证书访问，关于证书的生成部分，另有相关文章介绍，此处不再赘述。

如果希望将filebeat的相关监控信息写入到es，可以启用xpack monitoring，配置如下：

#============================== Xpack Monitoring ===============================
# filebeat can export internal metrics to a central Elasticsearch monitoring
# cluster.  This requires xpack monitoring to be enabled in Elasticsearch.  The
# reporting is disabled by default.

# Set to true to enable the monitoring reporter.
xpack.monitoring.enabled: true

# Uncomment to send the metrics to Elasticsearch. Most settings from the
# Elasticsearch output are accepted here as well. Any setting that is not set is
# automatically inherited from the Elasticsearch output configuration, so if you
# have the Elasticsearch output configured, you can simply uncomment the
# following line.
xpack.monitoring.elasticsearch:
  hosts: ["es-host1:9920","es-host2:9920","es-host3:9920"]
  protocol: "https"
  username: "filebeat_system"
  password: "abcdefg"
  ssl.enabled: true
  ssl.verification_mode: full
  ssl.certificate_authorities: ['${FILEBEAT_ROOT_CA_PATH}']

# metric http server
http.enabled: true
http.host: localhost
http.port: 5066

4 日志规则解析

Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。对于logstash的详细介绍可以参考：https://blog.csdn.net/u010739...
本文介绍的日志服务中，logstash的作用主要是接收来自filebeat收集上来的日志，匹配不同的规则，写入到不同的es索引中。
同filebeat一样，也非常建议将logstash封装为可以直接部署的服务。我们重点介绍logstash的基础配置，以及pipelines的配置。

4.1 logstash.yml配置解析

pipeline.batch.size: 500
pipeline.batch.delay: 100
config.reload.automatic: true
config.reload.interval: 30s
queue.type: persisted
path.queue: /home/logstash/data/queue
queue.max_bytes: 4gb
queue.checkpoint.writes: 256
dead_letter_queue.enable: true
dead_letter_queue.max_bytes: 100gb
path.dead_letter_queue: /home/logstash/data/dead_letter_queue
http.host: "127.0.0.1"
http.port: 5044
# ------------ X-Pack Settings (not applicable for OSS build)--------------
#
# X-Pack Monitoring
# https://www.elastic.co/guide/en/logstash/current/monitoring-logstash.html
xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: kdhlr953
xpack.monitoring.elasticsearch.url: ["https://es-host1:9920","https://es-host2:9920","https://es-host3:9920"]
xpack.monitoring.elasticsearch.ssl.truststore.path: /home/work/certificate/truststore.jks
xpack.monitoring.elasticsearch.ssl.truststore.password: sjaifdakdjf
xpack.monitoring.elasticsearch.ssl.verification_mode: certificate
xpack.monitoring.elasticsearch.sniffing: false
xpack.monitoring.collection.interval: 10s
xpack.monitoring.collection.pipeline.details.enabled: true

跟filebeat一样，我们开启了证书访问，因此也需要证书相关的支持。更多配置相关的介绍可以自行百度。后续也会有文章进行详细介绍。

4.2 pipelines配置解析

pipelines.yml文件主要配置logstash需要加载的pipelines的相关路径：

- pipeline.id: filebeat-log
  path.config: "pipelines/filebeat-log/*.conf"

4.3 pipelines热加载

pipelines主要分为三部分：input、fileter、output，这三部分可以配置到三个不同的配置文件中。
这三个配置文件的改动是热加载的。logstash会定期进行检测。

4.3.1 input.conf

主要是filter-beats插件的配置，配置示例如下：

input {
    beats {
        port => 5044
        client_inactivity_timeout => 600
        ssl => true
        ssl_certificate_authorities => ["/home/work/certificate/chain-ca.pem"]
        ssl_certificate => "/home/work/certificate/server.crt.pem"
        ssl_key => "/home/work/certificate/server.key.pem"
        ssl_verify_mode => "force_peer"
    }
}

4.3.2 filter.conf

最挑战的就是fileter的配置部分。强烈推荐定义规则时先使用grok调试器进行在线调试后再加载到logstash中。https://grokdebug.herokuapp.com/
配置参考如下：

filter {
    # 备份一下事件时间，@timestamp在后面的日志处理过程中会被替换成日志内容中的时间
    mutate {
        copy => {
            "@timestamp" => "event_timestamp"
        }
    }
    if [fields][language] == "go" and [fields][type] == "info" {
        grok {
            match => {
                "message" => "^\[%{GO_TIMESTAMP:[@metadata][log_timestamp]}\]\s+\[%{DATA:log_level}\]"
            }
            pattern_definitions => {
                "GO_TIMESTAMP" => "%{YEAR}/%{MONTHNUM}/%{MONTHDAY} %{HOUR}:%{MINUTE}:%{SECOND} %{TZ}"
            }
        }
        date {
            match => ["[@metadata][log_timestamp]", "yyyy/MM/dd HH:mm:ss z"]
            timezone => "Asia/Shanghai"
        }
    }
    if ![@metadata][index_name] {
        mutate {
            add_field => {"[@metadata][index_name]" => "%{[fields][productline]}-%{[fields][logpattern]}-%{[fields][type]}"}
        }
    }
    if ![@metadata][document_id] {
        mutate {
            add_field => {"[@metadata][document_id]" => "%{[@timestamp]}%{[offset]}%{[host][name]}"}
        }
        mutate {
            gsub => ["[@metadata][document_id]", "[.:TZ-]", ""]
        }
    }
}

4.3.3 output.conf

output {
    if "_grokparsefailure" in [tags] or "_jsonparsefailure" in [tags] {
        file {
            path => "/home/work/logstash/failure_output/failure-%{+YYYY-MM-dd}.log"
        }
    } else {
        elasticsearch {
            hosts => ["https://es-host1:9920","https://es-host2:9920","https://es-host3:9920"]
            index => "logstash-%{[@metadata][index_name]}-%{+YYYY.MM.dd}"
            document_id => "%{[@metadata][document_id]}"
            ssl => true
            ssl_certificate_verification => true
            truststore => "/home/work/certificate/truststore.jks"
            truststore_password => "adofkoe"
            user => "logstash"
            password => "dafodmfkamkefadfg"
        }
    }
}

如果filebeat收集的日志不满足fileter.conf中配置的grok表达式，会统一写入到failure文件中，方便问题排查。

5 日志存储查询

5.1 elasticsearch

elasticsearch是一个全文检索引擎，在本文中的日志服务中主要用于日志的结构化存储和查询。
为了将不同产品线的访问权限进行隔离，我们需要在es安装时加载search-guard插件。
在第一次部署es启动前需要进行系统配置更新（使用root权限），修改/etc/security/limit.conf，保存后logout然后再login一遍系统

hard nofile 65536
soft nofile 65536 work hard nofile 65536 work soft nofile 65536
soft nproc 4096
hard nproc 4096 work soft nproc 4096 work hard nproc 4096 work soft memlock unlimited work hard memlock unlimited

在/etc/sysctl.conf加入 vm.max_map_count=262144 保存后执行sysctl -p
对于search-guard插件，可以将es封装为可独立部署的线上服务，在部署脚本中加载search-guard插件。关于插件的安装在本文中先不进行过多介绍，重点介绍一下search-guard插件的账号体系配置。
sgconfig中的用户密码需要通过执行es节点部署路径中plugin/search-guard-6/tools/hash.sh脚本来生成hash值。执行命令为bash hash.sh -p $PASSWORD 然后将生成的hash填入sg_internal_users.yml中，并执行bin/sg_update.sh脚本

具体执行步骤如下：

第一步：在es节点部署路径中，执行以下命令，得到一个哈希值

bash plugins/search-guard-6/tools/hash.sh -p tsdb123

第二步：将第一步中的哈希值写入到sgconfig目录下的sg_internal_users.yml文件中

#password is: tsdb123
tsdb:
  hash: $2y$12$nRgsuDYm36ZKCTjPf3/CeusU9BSGNDCOGOC.JKT7lhj9tVE.nVtS2
  roles:
    - tsdb

此处填写的roles： -tsdb角色需要在

第三步：在sg_roles_mapping.yml文件中添加角色映射

sg_tsdb:
  readonly: true
  backendroles:
    - tsdb

第四步：在sg_roles.yml文件中添加索引控制。此处添加kibana是为了让用户可以有kibana的访问权限，否则是无法通过kibana进行查询的。

sg_tsdb:
  readonly: true
  cluster:
    - CLUSTER_COMPOSITE_OPS_RO
  indices:
    'logstash-tsdb-*':
      '*':
        - READ
    '?kibana*':
      '*':
        - READ

第五步：生效配置，执行以下命令：

sh bin/sg_update.sh sgconfig/

其中sg_update.sh脚本可以自行编写，主要用于加载sg的各个配置文件。

5.2 kibana

kibana用于进行日志的查询、报表展示，可以理解为es的一个可视化操作界面。
kibana同上述的所有服务，也可以封装为单独的服务包进行安装部署，其最主要的就是kibana.yml的配置。主要配置kibana的端口，es的地址，访问es需要的用户名、密码，证书的地址等信息。
使用5，1中分配的账号进行kibana登录即可查看对应索引的相关信息。

总结

至此，搭建完上述的各个组件，依次检查filebeat的日志是否能够正确收集到对应的日志文件、logstash能否正确接收到filebeat传输过来的信息并且正确解析，检查es是否能够生成索引，kibana是否能够进行不同账号的登录以及对应es索引的日志查询。没有问题之后，分布式日志服务就搭建完毕了。

filebeat logstash

使用EFK快速搭建安全可靠的日志服务

1 前言

2整体框架及各组件介绍

2.1 整体框架

2.2 各组件简介

3 日志收集&传输

3.1 logstash作为agent

3.2 filebeat作为agent

3.2.1 filebeat的日志收集文件说明

3.2.2 filebeat.yml文件说明

4 日志规则解析

4.1 logstash.yml配置解析

4.2 pipelines配置解析

4.3 pipelines热加载

4.3.1 input.conf

4.3.2 filter.conf

4.3.3 output.conf

5 日志存储查询

5.1 elasticsearch

5.2 kibana

总结

相关推荐