Logstash 参考指南

Logstash是一个具有实时管道功能的开源数据收集引擎，Logstash可以动态地将来自不同数据源的数据统一起来，并将数据规范化为你选择的目的地，清理和大众化你的所有数据，用于各种高级下游分析和可视化用例。

• 版本：v6.4
• 更新日期：2018-10-04

Logstash介绍

• Logstash介绍

Logstash入门

本节将指导你安装Logstash并验证一切正常运行的过程，在了解如何储藏第一个事件之后，你将继续创建一个更高级的管道，该管道将Apache web日志作为输入，解析日志，并将解析后的数据写入Elasticsearch集群，然后你将学习如何将多个输入和输出插件组合在一起，以统一来自各种不同来源的数据。

• 安装Logstash
• 储存你的第一个事件
• 使用Logstash解析日志
• 拼接多个输入和输出插件

Logstash是如何工作的

• Logstash工作原理

设置和运行Logstash

在阅读本节之前，请参阅安装Logstash了解基本的安装说明，以帮助你入门，本节包括关于如何设置和运行Logstash的其他信息。

• Logstash目录布局
• Logstash配置文件
• logstash.yml
• 安全设置的Secrets Keystore
• 从命令行运行Logstash
• 作为Debian或RPM上的服务运行Logstash
• 在Docker上运行Logstash
• 为Docker配置Logstash
• 日志记录
• 关闭Logstash
• 安装X-Pack

重要更改

• 重要更改

升级Logstash

• 使用包管理器升级
• 直接下载进行升级
• 将Logstash升级到6.0
• 启用持久队列进行升级

配置Logstash

• 配置Logstash
• 配置文件的结构
• 在配置中访问事件数据和字段
• 在配置中使用环境变量
• Logstash配置示例
• 多个管道
• 管道到管道通信（Beta）
• 重新加载配置文件
• 管理多行事件
• Glob模式支持
• 转换摄取节点管道
• Logstash到Logstash沟通
• 集中的管道管理
• 配置Logstash节点监控
• 在Logstash中配置安全性

管理Logstash

Logstash提供配置管理功能，使你可以更轻松地管理对配置的更新。

本节中的主题仅描述Logstash的配置管理功能，有关其他配置管理工具（如Puppet和Chef）的信息，请参阅这些项目的文档，还可以查看Logstash的Puppet模块文档。

• 集中的管道管理
• 使用Logstash模块
• 使用Elastic Cloud
• ArcSight模块
• Netflow模块
• Azure模块

使用Filebeat Modules

• 使用Filebeat Modules
• 使用Filebeat Modules配置示例

数据弹性

• 持久队列
• Dead Letter队列

转换数据

• 执行核心操作
• 反序列化数据
• 提取字段并处理数据
• 通过查找丰富数据

部署和扩展Logstash

• 部署和扩展Logstash

性能调优

• 性能故障排除指南
• 调优和分析Logstash性能

监控Logstash

• 监控Logstash
• X-Pack监控概述
• 监控UI
• 管道查看器UI

监控API

• Node Info API
• Plugins Info API
• Node Stats API
• Hot Threads API

使用插件

• 生成插件
• 离线插件管理
• 私有Gem库
• Event API

输入插件

• 输入插件
• beats
• file
• kafka
• log4j

输出插件

• 输出插件
• elasticsearch
• email
• file
• kafka
• websocket

过滤器插件

• 过滤器插件
• date
• mutate

编解码器插件

• 编解码器插件
• json
• plain

贡献给Logstash

• 如何编写Logstash输入插件
• 如何编写Logstash编解码器插件
• 如何编写Logstash过滤器插件
• 如何编写Logstash输出插件
• 为Logstash插件提供补丁
• Logstash插件社区维护人员指南
• 提交你的插件到RubyGems.org和logstash插件仓库

术语表

• 术语表

发布说明

• Logstash 6.4.2发布说明
• Logstash 6.4.1发布说明