日志数据分析

日志数据分析

logstash，ElasticSearch，Kibana配置，组成著名的ELK技术栈，

分布式日志收集之Logstash

logstash是收集日志利器，无论是系统日志还是应用程序日志，无论是从文件收集还是直接接收tcp（或者udp）数据流，基本上所有常见的日志都能被收集，如：file、http、log4j、redis、syslog、tcp(udp)等等；

另外logstash还可以以多种形式的输出，如：elasticsearch（一种数据检索利器）、email、file、http、redis、tcp(udp)、xmpp等等。

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。

Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据，使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。

Kibana让我们理解大量数据变得很容易。它简单、基于浏览器的接口使你能快速创建和分享实时展现Elasticsearch查询变化的动态仪表盘。