Filebeat简介

一、filebeat学习

1.简介

Filebeat附带预构建的模块，这些模块包含收集、解析、充实和可视化各种日志文件格式数据所需的配置，每个Filebeat模块由一个或多个文件集组成，这些文件集包含摄取节点管道、Elasticsearch模板、Filebeat勘探者配置和Kibana仪表盘。

Filebeat模块很好的入门，它是轻量级单用途的日志收集工具，用于在没有安装java的服务器上专门收集日志，可以将日志转发到logstash、elasticsearch或redis等场景中进行下一步处理。

Filebeat与logstash作用是一样
Logstash是java写的，需要java环境
filebeat是go写的，不需要安装java环境，并且非常的轻量

2.安装filebeat

#上传包
[ ~]# rz filebeat-6.6.0-x86_64.rpm

#安装
[ ~]# rpm -ivh filebeat-6.6.0-x86_64.rpm

3.配置文件

[ ~]# rpm -qc filebeat
/etc/filebeat/filebeat.yml

二、filebeat收集本地日志到文件

1.配置

# filebeat基本格式，将本地日志文件输出到文件
[ ~]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enable: true
  paths:
    - /var/log/messages
output.file:
  path: "/tmp"
  filename: "filebeat_messages.log"

2.启动

[ ~]# systemctl start filebeat.service

#验证
[ ~]# ps -ef | grep filebeat

3.测试

[ ~]# tail -f /tmp/filebeat_messages.log

#输入内容
[ ~]# echo "123" >> /var/log/messages

三、filebeat收集本地日志到ES

1.配置

# filebeat基本格式，将本地日志文件输出到es中（严格按照yaml语法格式，如启动后进程突然中断说明语法问题。）
filebeat.inputs:
- type: log
  enable: true
  paths:
    - /var/log/nginx/access.log

output.elasticsearch:
  hosts: ["10.0.0.51:9200"]

2.启动

[ ~]# systemctl restart filebeat.service

#验证
[ ~]# ps -ef | grep filebeat

3.测试

#访问Nginx
http://10.0.0.7:8081/

#查看ES页面