安科网

ELK日志收集

技术与更多

技术与更多

2020-05-30

关注 关注

ELK日志收集

Elasticsearch    #数据库,存数据       JAVA
Logstash         #收集日志,过滤数据    JAVA
Kibana           #分析,过滤,展示      JAVA
Filebeat         #收集日志,传输到ES   GO

#日志收集分类
代理层：nginx,haproxy
web层：nginx,tomcat
数据库层：mysql,redis,mongo,elasticsearch
操作系统层：source,message

安装部署

主机名ip地址服务
elast0110.0.1.101es、kibana、nginx、filebeat
web0210.0.1.8nginx、filebeat
docker0110.0.1.205docker、filebeat

elast01操作

#ES安装
[ ~]# yum -y install java-1.8.0
[ ~]# mkdir -p /server/tools
[ tools]# ll
total 111388
-rw-r--r-- 1 root root 114059630 Feb 25  2019 elasticsearch-6.6.0.rpm
[ tools]# 
[ tools]# rpm -ivh elasticsearch-6.6.0.rpm
[ ~]# grep  "^[a-Z]" /etc/elasticsearch/elasticsearch.yml
node.name: node-1
path.data: /data/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 10.0.1.101,127.0.0.1
http.port: 9200
[ tools]# systemctl daemon-reload 
[ ~]# systemctl restart elasticsearch.service 

#安装kibana
[ tools]# rpm -ivh kibana-6.6.0-x86_64.rpm
[ tools]# grep ‘^[a-Z]‘ /etc/kibana/kibana.yml
server.port: 5601
server.host: "10.0.1.101"
server.name: "elast01"
elasticsearch.hosts: ["http://localhost:9200"]
kibana.index: ".kibana"
[ tools]# systemctl start kibana.service
[ tools]# systemctl enable kibana.service

浏览器输入：http://10.0.1.101:5601

ELK日志收集

简单收集nginx日志

#安装nginx
[ ~]# cat /etc/yum.repos.d/nginx.repo
[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true
[ ~]# yum -y install nginx httpd-tools
[ ~]# systemctl start nginx

#进行压测
[ ~]# ab -n 100 -c 100 http://10.0.1.101/

#安装filebeat
[ tools]# rpm -ivh filebeat-6.6.0-x86_64.rpm 
[ tools]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log

output.elasticsearch:
  hosts: ["10.0.1.101:9200"]

[ tools]# 
[ tools]# systemctl restart filebeat

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

收集Nginx的JSON日志

ELK日志收集

ELK日志收集

#nginx修改配置文件
[ ~]# grep -Ev ‘#|^$‘ /etc/nginx/nginx.conf
user  nginx;
worker_processes  1;
error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;
events {
    worker_connections  1024;
}
http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;
    log_format json  ‘{ "time_local": "$time_local", ‘
                          ‘"remote_addr": "$remote_addr", ‘
                          ‘"referer": "$http_referer", ‘
                          ‘"request": "$request", ‘
                          ‘"status": $status, ‘
                          ‘"bytes": $body_bytes_sent, ‘
                          ‘"agent": "$http_user_agent", ‘
                          ‘"x_forwarded": "$http_x_forwarded_for", ‘
                          ‘"up_addr": "$upstream_addr",‘
                          ‘"up_host": "$upstream_http_host",‘
                          ‘"upstream_time": "$upstream_response_time",‘
                          ‘"request_time": "$request_time"‘
‘ }‘;
    access_log  /var/log/nginx/access.log  json;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}
[ ~]# 
[ ~]# echo > /var/log/nginx/access.log 

#修改filebeat文件
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true               #加这两条可以将日志解析成JSON格式

setup.kibana:
  host: "10.0.1.101:5601"

output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  index: "nginx-%{[beat.version]}-%{+yyyy.MM}"     #按月存储日志
setup.template.name: "nginx"          #重新命名模板
setup.template.pattern: "nginx-*"     #以这个名字开头的名字使用重命名的模板
setup.template.enabled: false         #不使用官方的模板
setup.template.overwrite: true        #是否覆盖原来的模板
[ ~]# 
[ ~]# systemctl restart filebeat.service 

#进行压测
[ ~]# ab -n 100 -c 100 http://10.0.1.101/

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

收集Nginx正确和错误日志

ELK日志收集

ELK日志收集

#web02操作
#安装nginx
[ ~]# cat /etc/yum.repos.d/nginx.repo
[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true
[ ~]# yum -y install nginx
[ ~]# yum -y install nginx httpd-tools

#elast01操作
[ ~]# scp  /etc/nginx/nginx.conf :/etc/nginx/

#web02操作
#安装filebeat
[ ~]# mkdir -p /server/tools
[ tools]# rpm -ivh filebeat-6.6.0-x86_64.rpm

#修改filebeat文件
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]

- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

setup.kibana:
  host: "10.0.1.101:5601"

output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  indices:
    - index: "nginx-access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "access"
    - index: "nginx-error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "error"

setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
[ ~]# systemctl restart nginx
[ ~]# systemctl restart filebeat

#进行压测
[ ~]# ab -n 100 -c 100 http://10.0.1.8/
[ ~]# ab -n 100 -c 100 http://10.0.1.8/test.test

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

收集tomcat日志

#web02操作
[ ~]# yum install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp tomcat-javadoc -y
[ ~]# vim /etc/tomcat/server.xml
<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
138                prefix="localhost_access_log." suffix=".txt"
139                pattern="{&quot;clientip&quot;:&quot;%h&quot;,&quot;ClientUser&quot;:&quot;%l&quot;,&quot;authenticated&quot;:&quot;%u&quot;,&quot;AccessTime&quot;:&quot;%t&quot;,&quot;method&quot;:&quot;%r&quot;,&quot;status&quot;:&quot;%s&quot;,&quot;SendBytes&quot;:&quot;%b&quot;,&quot;Query?string&quot;:&quot;%q&quot;,&quot;partner&quot;:&quot;%{Referer}i&quot;,&quot;AgentVersion&quot;:&quot;%{User-Agent}i&quot;}"/>
140       </Host>
[ ~]# systemctl restart tomcat

#修改filebeat配置文件
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
################nginx####################
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]

- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

#################tomcat#################
- type: log
  enabled: true
  paths:
    - /var/log/tomcat/localhost_access_log.*.txt
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["tomcat"]



setup.kibana:
  host: "10.0.1.101:5601"

output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  indices:
    - index: "nginx-access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "access"
    - index: "nginx-error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "error"
    - index: "tomcat-access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "tomcat"

setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
[ ~]# 
[ ~]# systemctl restart filebeat

#进行压测
[ ~]# ab -n 100 -c 100 http://10.0.1.8:8080/

ELK日志收集

ELK日志收集

ELK日志收集

收集JAVA多行日志

因为java日志的输出信息非常多，需要将多行拼成一个事件，所以需要多行匹配模式
因为elasticsearch本身就是java开发的，所以我们可以直接收集ES的日志

#elast01操作
#修改filebeat配置文件
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
###############nginx##############
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]
################es#################
- type: log
  enabled: true
  paths:
    - /var/log/elasticsearch/elasticsearch.log
  tags: ["es"]
  multiline.pattern: ‘^\[‘
  multiline.negate: true
  multiline.match: after

setup.kibana:
  host: "10.0.1.101:5601"

output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  indices:
    - index: "nginx-access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "access"
    - index: "es-java-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "es"


setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
[ ~]# systemctl restart filebeat

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

收集docker日志

#docker01操作
#启动dokcer容器
[ ~]# docker run -d -p 80:80 nginx:latest 
2f0bd8498bdee28d9a32f1ae240f31f654c560724cb1c0c1845de3d9405a468e
[ ~]# 

#安装filebeat
[ ~]# mkdir /server/tools -p
[ ~]# cd /server/tools/
[ tools]# rpm -ivh filebeat-6.6.0-x86_64.rpm

#编写配置文件收集单个docker日志
[ tools]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: docker
  containers.ids:
    - ‘2f0bd8498bdee28d9a32f1ae240f31f654c560724cb1c0c1845de3d9405a468e‘

setup.kibana:
  host: "10.0.1.101:5601"

output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  index: "docker-%{[beat.version]}-%{+yyyy.MM}"

setup.template.name: "docker"
setup.template.pattern: "docker-*"
setup.template.enabled: false
setup.template.overwrite: true
[ tools]# systemctl restart filebeat

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

收集多个docker日志类型

每个容器的ID都不一样，为了区分不同服务运行的不同容器，可以使用docker-compose通过给容器添加labels标签来作为区分,然后filbeat把容器日志当作普通的json格式来解析并传输到es

#安装doker-compose
[ ~]# yum -y install python2-pip
[ ~]# pip install docker-compose -i https://pypi.tuna.tsinghua.edu.cn/simple
[ ~]# docker-compose version
docker-compose version 1.24.1, build 4667896
docker-py version: 3.7.3
CPython version: 2.7.5
OpenSSL version: OpenSSL 1.0.1e-fips 11 Feb 2013
[ ~]# 

#编写docker-compose.yml
[ ~]# cat docker-compose.yml
version: ‘3‘
services:
  nginx:
    image: nginx:latest
    # 设置labels
    labels:
      service: nginx_v1
    # logging设置增加labels.service
    logging:
      options:
        labels: "service"
    ports:
      - "80:80"
  db:
    image: nginx:latest
    # 设置labels
    labels:
      service: nginx_v2
    # logging设置增加labels.service
    logging:
      options:
        labels: "service"
    ports:
      - "8080:80"

[ ~]# 

#运行docker-compose.yml
[ ~]# docker-compose up -d
[ ~]# docker container ls
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                  NAMES
24b2561d7244        nginx:latest        "nginx -g ‘daemon of…"   18 seconds ago      Up 15 seconds       0.0.0.0:80->80/tcp     root_nginx_1
5c7193eda264        nginx:latest        "nginx -g ‘daemon of…"   18 seconds ago      Up 15 seconds       0.0.0.0:8080->80/tcp   root_db_1
[ ~]# 

#配置filebeat
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/lib/docker/containers/*/*-json.log
  json.keys_under_root: true
  json.overwrite_keys: true

setup.kibana:
  host: "10.0.1.101:5601"

output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  indices:
    - index: "docker-nginx_v1-access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        attrs.service: "nginx_v1"
        stream: "stdout"

    - index: "docker-nginx_v1-error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        attrs.service: "nginx_v1"
        stream: "stderr"

    - index: "docker-nginx_v2-access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        attrs.service: "nginx_v2"
        stream: "stdout"

    - index: "docker-nginx_v2-error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        attrs.service: "nginx_v2"
        stream: "stderr"

setup.template.name: "docker"
setup.template.pattern: "docker-*"
setup.template.enabled: false
setup.template.overwrite: true
[ ~]# systemctl restart filebeat

ELK日志收集

filebeat配置nginx模块

#web02操作
#修改filebeat配置文件
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
setup.kibana:
  host: "10.0.1.101:5601"
output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  indices:
    - index: "nginx_access-%{[beat.version]}-%{+yyyy.MM.dd}"
      when.contains:
        fileset.name: "access"
    - index: "nginx_error-%{[beat.version]}-%{+yyyy.MM.dd}"
      when.contains:
        fileset.name: "error"
setup.template.name: "nginx"
setup.template.pattern: "nginx_*"
setup.template.enabled: false
setup.template.overwrite: true

[ ~]# 

#filebeat modules配置
#使用nginx模版配置需要安装2个插件，默认从官网下载速度太慢，可以提前下载然后离线安装
https://www.elastic.co/guide/en/elasticsearch/plugins/6.6/ingest-geoip.html
https://www.elastic.co/guide/en/elasticsearch/plugins/6.6/plugin-management-custom-url.html
在线安装：
#elast01操作
[ ~]# /usr/share/elasticsearch/bin/elasticsearch-plugin install ingest-user-agent
[ ~]# /usr/share/elasticsearch/bin/elasticsearch-plugin install ingest-geoip
离线安装:
[ tools]# wget https://artifacts.elastic.co/downloads/elasticsearch-plugins/ingest-user-agent/ingest-user-agent-6.6.0.zip
[ tools]# wget https://artifacts.elastic.co/downloads/elasticsearch-plugins/ingest-geoip/ingest-geoip-6.6.0.zip
[ ~]# /usr/share/elasticsearch/bin/elasticsearch-plugin install file:///server/tools/ingest-geoip-6.6.0.zip
[ ~]# /usr/share/elasticsearch/bin/elasticsearch-plugin install file:///server/tools/ingest-user-agent-6.6.0.zip
[ ~]# systemctl restart elasticsearch.service 
注意：6.7之后这两个插件默认集成到了elasticsearch，不需要单独安装了

#激活nginx模块：
#web02操作
[ ~]# filebeat modules enable nginx
[ ~]# grep -Ev "#|^$" /etc/filebeat/modules.d/nginx.yml
- module: nginx
  access:
    enabled: true
    var.paths: ["/var/log/nginx/access.log"]
  error:
    enabled: true
    var.paths: ["/var/log/nginx/error.log"]
[ ~]# filebeat modules list
Enabled:
nginx

#修改nginx日志为默认日志
[ ~]# grep -Ev "#|^$" /etc/nginx/nginx.conf 
user  nginx;
worker_processes  1;
error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;
events {
    worker_connections  1024;
}
http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;
    log_format  main  ‘$remote_addr - $remote_user [$time_local] "$request" ‘
                      ‘$status $body_bytes_sent "$http_referer" ‘
                      ‘"$http_user_agent" "$http_x_forwarded_for"‘;
    access_log  /var/log/nginx/access.log  main;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}
[ ~]# echo > /var/log/nginx/access.log 
[ ~]# echo > /var/log/nginx/error.log 
[ ~]# systemctl restart nginx
[ ~]# systemctl restart filebeat

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

ELK日志收集

导入kibana视图

[ kibana]# filebeat setup
Loaded index template
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards
Loaded machine learning job configurations
[ kibana]# 

默认如果使用filbeat模版导入视图会把所有的服务都导入进去,而我们实际上并不需要这么多视图，
而且默认的视图模版只能匹配filebeat-*开头的索引，所以这里我们有2个需要需要解决：
1.通过一定处理只导入我们需要的模版
2.导入的视图模版索引名称可以自定义
解决方法：
1.备份一份filebeat的kibana视图，删除不需要的视图模版文件
2.修改视图文件里默认的索引名称为我们需要的索引名称
[ ~]# cp -a /usr/share/filebeat/kibana /root/
[ ~]# cd /root/kibana/
[ kibana]# rm -rf 5
[ kibana]# cd 6/dashboard/
[ dashboard]# find . -type f ! -name "*nginx*"|xargs rm -rf
[ dashboard]# rm -rf ml-nginx-*
[ dashboard]# ll
total 24
-rw-r--r-- 1 root root  6704 Jan 24  2019 Filebeat-nginx-logs.json
-rw-r--r-- 1 root root 15348 Jan 24  2019 Filebeat-nginx-overview.json
[ dashboard]# 

#替换索引名称
[ dashboard]# sed -i ‘s#filebeat\-\*#nginx\-\*#g‘ Filebeat-nginx-overview.json 
[ dashboard]# cd ../index-pattern/
[ index-pattern]# sed -i ‘s#filebeat\-\*#nginx\-\*#g‘ filebeat.json 

#导入视图
[ ~]# filebeat setup --dashboards -E setup.dashboards.directory=/root/kibana/

#web02操作
#修改filebeat配置文件
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
setup.kibana:
  host: "10.0.1.101:5601"
output.elasticsearch:
  hosts: ["10.0.1.101:9200"]
  indices:
    - index: "nginx-access-%{[beat.version]}-%{+yyyy.MM.dd}"
      when.contains:
        fileset.name: "access"
    - index: "nginx-error-%{[beat.version]}-%{+yyyy.MM.dd}"
      when.contains:
        fileset.name: "error"
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
[ ~]# systemctl restart filebeat

使用redis作为缓存收集日志

如果使用redis作为缓存
可以将不同的日志类型单独写成一个键，这样好处是清晰，但是缺点是logstash写起来起来复杂
也可以将所有的日志全部写入到一个键中，然后靠后端的logstash去过滤处理。

#安装redis
[ ~]# yum -y install redis
[ ~]# vim /etc/redis.conf
bind 10.0.1.101
[ ~]# systemctl restart redis

#将nginx的日志调整为json格式
[ ~]#  grep -Ev ‘#|^$‘ /etc/nginx/nginx.conf 
user  nginx;
worker_processes  1;
error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;
events {
    worker_connections  1024;
}
http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;
    log_format json  ‘{ "time_local": "$time_local", ‘
                          ‘"remote_addr": "$remote_addr", ‘
                          ‘"referer": "$http_referer", ‘
                          ‘"request": "$request", ‘
                          ‘"status": $status, ‘
                          ‘"bytes": $body_bytes_sent, ‘
                          ‘"agent": "$http_user_agent", ‘
                          ‘"x_forwarded": "$http_x_forwarded_for", ‘
                          ‘"up_addr": "$upstream_addr",‘
                          ‘"up_host": "$upstream_http_host",‘
                          ‘"upstream_time": "$upstream_response_time",‘
                          ‘"request_time": "$request_time"‘
‘ }‘;
    access_log  /var/log/nginx/access.log  json;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}
[ ~]#

日志写入不同的key中

#修改filebeat写入到不同的key中
[ ~]# cat /etc/filebeat/filebeat.yml
[ ~]# cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true 
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]

- type: log
  enabled: true 
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

setup.kibana:
  host: "10.0.1.101:5601"

output.redis:
  hosts: ["10.0.1.101"]
  keys:
    - key: "nginx_access"   
      when.contains:
        tags: "access"
    - key: "nginx_error"
      when.contains:
        tags: "error"
[ ~]# systemctl restart filebeat
#进行压测
[ ~]# ab -n 1000 -c 1000 http://10.0.1.101/
[ ~]# ab -n 1000 -c 1000 http://10.0.1.101/nginx
10.0.1.101:6379> KEYS *
1) "nginx_error"
2) "nginx_access"
10.0.1.101:6379> 

#安装logstash
[ tools]# rpm -ivh logstash-6.6.0.rpm

#配置logstash读取不同的key
[ ~]# cat /etc/logstash/conf.d/redis.conf
input {
  redis {
    host => "10.0.1.101"
    port => "6379"
    db => "0"
    key => "nginx_access"
    data_type => "list"
  }
  redis {
    host => "10.0.1.101"
    port => "6379"
    db => "0"
    key => "nginx_error"
    data_type => "list"
  }
}

filter {
  mutate {
    convert => ["upstream_time", "float"]
    convert => ["request_time", "float"]
  }
}

output {
    stdout {}
    if "access" in [tags] {
      elasticsearch {
        hosts => "http://10.0.1.101:9200"
        manage_template => false
        index => "nginx_access-%{+yyyy.MM}"
      }
    }
    if "error" in [tags] {
      elasticsearch {
        hosts => "http://10.0.1.101:9200"
        manage_template => false
        index => "nginx_error-%{+yyyy.MM}"
      }
    }
}
[ ~]# 

#启动logstash
[ ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf

ELK日志收集

日志写入到一个key中

#filebeat收集日志写入到一个key中
[ ~]# cat /etc/filebeat/filebeat.yml 
filebeat.inputs:
- type: log
  enabled: true 
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]

- type: log
  enabled: true 
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

setup.kibana:
  host: "10.0.1.101:5601"

output.redis:
  hosts: ["10.0.1.101"]
  key: "nginx"   
[ ~]# systemctl restart filebeat

#logstash根据tag区分一个key里的不同日志
[ ~]# cat /etc/logstash/conf.d/redis.conf
input {
  redis {
    host => "10.0.1.101"
    port => "6379"
    db => "0"
    key => "nginx"
    data_type => "list"
  }
}

filter {
  mutate {
    convert => ["upstream_time", "float"]
    convert => ["request_time", "float"]
  }
}

output {
    stdout {}
    if "access" in [tags] {
      elasticsearch {
        hosts => "http://10.0.1.101:9200"
        manage_template => false
        index => "nginx_access-%{+yyyy.MM}"
      }
    }
    if "error" in [tags] {
      elasticsearch {
        hosts => "http://10.0.1.101:9200"
        manage_template => false
        index => "nginx_error-%{+yyyy.MM}"
      }
    }
}
[ ~]# 

#启动logstash
[ ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf

ELK日志收集

kibana的x-pack监控开启

ELK日志收集

ELK日志收集

ELK日志收集

kibana filebeat

技术与更多

技术与更多

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

超强干货！通过filebeat、logstash、rsyslog 几种方式采集 nginx 日志

由于nginx功能强大，性能突出，越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本

wangfengqingyang 2020-06-11

EFK的安装和收集docker容器日志展示

通过docker-compose安装es filebeat kibana。而且es一般也是集群，filebeat是每个节点一个，那样的话就得用k8s才方便了）。这里我以一个asp.net core服务为例，docker-compose.yml如下，镜像和服

kuzilala 2020-06-11

ElasticSearch stack 6.5.4下载地址

ElasticSearch：windows：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.ziphttps://artifacts.elastic.co/d

citic 2020-06-06

测试服务器简单部署elasticsearch和kibana，实现日志平台

工作需要，在测试环境搭建了一下日志平台，记录一下。正常线上服务器用的最多的应该是ELK，L指的是Logstash ，因为我都没有配置过。网上查了一些资料，感觉Logstash搭建好像比较麻烦，所以直接用了官网上的 轻量级日志采集工具：Beats 。盗用一下

gniMiL 2020-05-12

Centos 7.3 简便搭建EFK日志分析

EFK 不是一个软件，而是一套解决方案。EFK 是三个开源软件的缩写，Elasticsearch，FileBeat，Kibana。其中 ELasticsearch 负责日志分析和存储，FileBeat 负责日志收集，Kibana 负责界面展示。它们之间互相

xinlugang 2020-04-15

EFK教程-1

# 限制一个进程可以拥有的VMA的数量要超过262144，不然elasticsearch会报max virtual memory areas vm.max_map_count [65535] is too low, increase to at least

houhow 2020-04-14

elasticsearch+filebeat+kibana jmeter分布式日志

步骤：1，wget filebeat，解压；filebeat.inputs:- type: log enable: true paths: -/var/log/*.log multiline.pattern:^[0-9]{4}-[0-9]{2}

AngelaDan 2020-03-04

ELK原理与介绍

一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决

superviser000 2020-02-20

EFK教程(5) - ES集群开启用户认证

elasticsearch-建立本地内置用户。filebeat-在WEB界面创建角色及用户。在第一篇《EFK教程 - 快速入门指南》中，阐述了EFK的安装部署，其中ES的架构为三节点，即master、ingest、data角色同时部署在三台服务器上。在第三

wenwentana 2020-01-24

centos7搭建EFK

创建一个yum源文件。hosts: ["localhost:9200"] # ip改成部署了elasticsearch服务的机器ip, 我这里是一台机器,所以localhost等于11.22

sifeimeng 2020-01-02

Logstash Filebeat 安装配置之使用 Kibana 分析日志数据

Logstash 是用于管理事件和日志的开源工具。它为数据收集提供实时传递途径。本教程的目地是使用Logstash来收集服务器的syslog，并设置Kibana可视化收集的日志。Logstash：处理传入日志的的服务器组件Elasticsearch：存储所

kebochina 2020-01-02

ElasticSearch 交互使用

tcp 0 0 10.0.0.121:5601 0.0.0.0:* LISTEN 88636/node

李玉志 2020-08-19

操作ElasticSearch插件和可视化工具 Kibana

当 ElasticSearch 的实例并运行，您可以使用 localhost:9200,基于 JSON 的 REST API 与ElasticSearch 进行通信。在 ElasticSearch 自己的文档中，所有示例都使用 curl。但是，当使用 AP

molong0 2020-08-06

在VMware中搭建kibana和elasticsearch

、hostname -I 查看本机当前ip，一会儿我就直接设置这个ip为固定ip了，还涉及到子网掩码啥的，最好不要进行修改，我查出来的结果是：192.168.91.128. 、 vi elasticsearch.yml，去除 network.host 和

YYDU 2020-06-21

ElasticSearch 定时批量删除N天前的数据

当时目前我只是完成收集和查看所有日志，那么时间一长我们就会遇到问题，日志一直发到elastic服务器上，日志越来越多，我就需要一个定时删除过期的日志数据的办法。需要定时删除elasticSearch指定过期数据，比如只保留N天数据，超过N天前的数据，直接删

katanaFlower 2020-06-21

docker安装elasticsearch和kibana的方法步骤

现在elasticsearch是比较火的，很多公司都在用，所以如果说还不知道es可能就会被人鄙视了。所以这里我就下决心来学习es，我比较钟爱于docker所有也就使用了docker来安装es，这里会详细介绍下安装的细节以及需要注意的地方。关于docker的

AFei00 2020-06-14

elasticsearch + fluentd + kibana 日志收集

cluster.name: ELK-Cluster #ELK的集群名称，名称相同即属于是同一个集群

molong0 2020-06-13

Nginx反代实现Kibana登录认证功能

毕竟X-Pack是商业版。决定采用nginx做反向代理。运行命令后，会要求你连续输入两次密码。server.host: "10.10.17.41"重启 Kibana 及 Nginx 服务使配置生效。接下来浏览器访问 http://IP

kebochina 2020-06-11

packetbeat

下载并安装实现libpcap接口的数据sniffing库，例如Npcap。如果使用Npcap，请确保以WinPcap API兼容模式安装它。如果您打算从loopback设备捕获流量，则还选择支持loopback流量的选项。从下载页面下载Packetbeat

狐狸小七 2020-06-11

Elastic Stack：Centos7安装Kibana7.7.1以及开机自启

配置文件的修改：。如果elasticsearch和kibana在一台机器上，则不需要改动。进入kibana的bin目录下，执行命令。kibana默认的端口是5601，在浏览器输入ip地址:5601,即可访问。添加到系统服务，开机自启

技术与更多 2020-06-06
技术与更多

技术与更多

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号