用Grafana为Elasticsearch做日志分析
Grafana是一个开源的、功能强大的指标仪表板和图形编辑器工具,它面向Graphite、Elasticsearch、OpenTSDB、Prometheus和InfluxDB等数据源。目前Grafana的最新版本为2.6版。
Grafana仪表板界面如下:
Graphite:Graphite是一个可扩展的实时图表,最新版本为0.9.10,地址: http://graphite.wikidot.com/
OpenTSDB:OpenTSDB是一个基于HBase的分布式、可扩展的、基于时间序列的实时监控信息收集和展示平台。它支持秒级数据采集metrics,使用HBase进行永久存储,可以做容量规划,并很容易的接入到现有的监控系统里。OpenTSDB可以从大规模的设备中获取相应的metrics并进行存储、索引以及服务,从而使得这些数据更容易让人理解,如web化,图形化等。http://opentsdb.net/index.html
Prometheus:是一个开源的系统和服务的监控系统。地址: https://github.com/prometheus/prometheus
InfluxDB:InfluxDB是一个开源的、分布式的、基于时间序列的数据库,它没有外部依赖。InfluxDB可用于记录测量、事件以及性能分析。地址: https://influxdata.com/
Grafana可以作为Kibana的替代品。Grafana最令人称道的是它提供的可视化仪表板工具,可以汇集各种数据源(比如InfluxDB)的测量数据并以图形方式显示。Grafana是Kinana的一个分支,但它没有提供对以Elasticsearch作为数据源的支持。还好在Grafana 2.5版以后,增加了对以Elasticsearch作为数据源的支持。在Sematext数据分析网站有介绍。
Sematext网站:https://sematext.com/
Elasticsearch通常不用于存储测量数据,而是常常用于存储随时间不停记录的数据,比如日志数据或事件数据(可以想想物联网IoT)。Grafana 2.5在显示方面只支持数值类型的显示,但在2.6版开始支持文本数据的表格显示。
Grafana的安装很简单,以Debian安装为例:
执行命令:
$ wget https://grafanarel.s3.amazonaws.com/builds/grafana_2.6.0_amd64.deb $ sudo apt-get install -y adduser libfontconfig $ sudo dpkg -i grafana_2.6.0_amd64.deb
启动服务器:
ElasticSearch 的详细介绍:请点这里
ElasticSearch 的下载地址:请点这里
相关推荐
另外一部分,则需要先做聚类、分类处理,将聚合出的分类结果存入ES集群的聚类索引中。数据处理层的聚合结果存入ES中的指定索引,同时将每个聚合主题相关的数据存入每个document下面的某个field下。