Ubuntu 搭建ELK日志分析系统(Elasticsearch+Logstash+Kibana)
事先安装好JDK环境
下载jdk安装包:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
1.安装依赖包jdk8:
#sudomkdir/usr/lib/jvm
#tarxvzfjdk-8u91-linux-x64.tar.gz-C/usr/lib/jvm/
#vim~/.bashrc
在文档最下部追加
exportJAVA_HOME=/usr/lib/jvm/jdk1.8.0_91
exportJRE_HOME=${JAVA_HOME}/jre
exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
exportPATH=${JAVA_HOME}/bin:$PATH
执行:source~/.bashrc
执行java-version和java,有相应数据即安装完成。
下载ELK安装包:https://www.elastic.co/downloads/
------------------------------------------------------------------------
1
#tarxvzflogstash-2.3.3.tar.gz
在logstash-2.3.3目录下创建logstash-test.conf配置文件,内容如下:
#catlogstash-test.conf
input{stdin{}}
output{
stdout{codec=>rubydebug}
}
Logstash使用input和output定义收集日志时的输入和输出的相关配置,本例中input定义了一个叫"stdin"的input,output定义一个叫"stdout"的output。无论我们输入什么字符,Logstash都会按照某种格式来返回我们输入的字符,其中output被定义为"stdout"并使用了codec参数来指定logstash输出格式。
使用如下命令启动:
#./bin/logstashagent-flogstash-test.conf
启动后,你在屏幕上输入什么内容,就会在console里显示出来。如输入"hello".
显示对应json内容则成功。
安装elasticsearch:
#tarxvzfelasticsearch-2.3.3.tar.gz
修改配置文件,允许远程访问:
cdelasticsearch-2.3.3/config
vimelasticsearch.yml
修改network栏为:
network.host0.0.0.0
启动elasticsearch:
#./bin/elasticsearch-d#-d为后台启动
访问访问http://<elasticsearch-ip>:9200
有数据说明成功
安装elasticsearch插件head:
#cdelasticsearch-2.3.3
#./bin/plugininstallmobz/elasticsearch-head
访问http://<elasticsearch-ip>:9200/_plugin/head
有页面说明成功
测试elasticsearch与logstash是否能链接成功:
在logstash-2.3.3安装目录下创建一个用于测试logstash使用elasticsearch作为logstash的后端的测试文件logstash-es-simple.conf,该文件中定义了stdout和elasticsearch作为output,这样的“多重输出”即保证输出结果显示到屏幕上,同时也输出到elastisearch中,内容如下:
[logstash-es-simple.conf]
input{stdin{}}
output{
elasticsearch{hosts=>"localhost"}
stdout{codec=>rubydebug}
}
#hosts为elasticsearch的主机,这里两者在同一机器上
启动:
1
#./bin/logstashagent-flogstash-es-simple.conf
打开http://<elasticsearch-ip>:9200/_search?pretty
可看到数据
4.安装kibana:
1
#tarxvzfkibana-4.5.1-linux-x64.tar.gz
启动:
1
2
#cdkibana-4.5.1-linux-x64
#./bin/kibana
访问http://<ip>:5601后创建索引即可
点击“Discover”选项卡,可以搜索和浏览elasticsearch中的数据,默认搜索最近15分钟的数据,也可以自定义。
相关推荐
另外一部分,则需要先做聚类、分类处理,将聚合出的分类结果存入ES集群的聚类索引中。数据处理层的聚合结果存入ES中的指定索引,同时将每个聚合主题相关的数据存入每个document下面的某个field下。