Linux日志分析ELK环境搭建

场景:ELK作为一个日志收集和检索系统,感觉功能还是相当的强大的。 

ELK是啥, 其实是是三个组件的缩写, 分别是elasticsearch, logstash, kibana. ELK平台可以用于实现日志收集、日志搜索和日志分析. 当然, 如果你有花不完的money, 完全可以使用商业版的Splunk, Orz...

ELK分别是什么

1). ELK现在都是属于elastic公司的产品, 产品主页.

1.elasticsearch(es): 它是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
2.logstash: 简单说是一个日志收集工具, 可以定义从哪里获取数据, 并且可以简单处理数据, 最后可以定义将数据输出到哪里, 一般输出到es. 
3.kibana: 其实就是一个数据展示界面, 并且可以分析数据, 例如从es中读取数据进行展示分析. es自己也带有简单的展示dashboard: http://127.0.0.1:9200/_plugin/head/, 当然 前提是你安装了head插件, 这个下面再说.

2). 简单流程

下面图简单的展示了三组件之间的协作,

1.elasticsearch(es): 它是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
2.logstash: 简单说是一个日志收集工具, 可以定义从哪里获取数据, 并且可以简单处理数据, 最后可以定义将数据输出到哪里, 一般输出到es. 
3.kibana: 其实就是一个数据展示界面, 并且可以分析数据, 例如从es中读取数据进行展示分析. es自己也带有简单的展示dashboard: http://127.0.0.1:9200/_plugin/head/, 当然 前提是你安装了head插件, 这个下面再说.

总的来说分成四大部分, 第一, 应用产生数据, 第二, logstash从应用收集数据, 第三, 将数据放入es, 第四, 使用kibana进行数据展示以及分析.

1 准备

1.1 环境检测

本文介绍安装 logstash 2.2.0 和 elasticsearch 2.2.0,操作系统环境版本是

Linux日志分析ELK环境搭建

安装 JDK 是必须的,一般操作系统都会有,只是版本的问题,这里在安装的过程中发现ELK大部分都要求1.8以上的JDK,所以果断换1.8版本的JDK省事些。

Linux日志分析ELK环境搭建

而 Kibana 只是一个用纯 JavaScript 写的前端 UI。一定要注意 Kibana 的版本,它会要求 ES 的版本。下表展示了kibana和Elasticsearch之间的对应关系

 Linux日志分析ELK环境搭建

1.2 软件下载

注意:这三个软件之间的版本如果选择不对,中间会出现很多想不到的问题。我这里的总结是elasticsearch和logstash最好保持版本一直,kibana和es的版本如上表所示的对应。

 在网站中搜索下面三个软件的压缩包。https://www.elastic.co/

这里我都是选择Linux 64位的压缩包,然后将这三个文件通过FTP工具上传到自己建立的目录下面,这里以Etest为例。

ps:ELK三个软件的安装基本就是解压,然后执行就可以运行了,所以安装的目录完全可以自己选择。

logstash all plugins 2.2.0

elasticsearch 2.2.0

kibana 4.4.1

 Linux日志分析ELK环境搭建

1.3 解压缩软件

#将软件解压到/usr/local目录
##tar -xzvf elasticsearch-5.0.1.tar.gz -C /usr/local

#首先切换到软件下载目录,然后将三个软件直接解压到Etset目录
tar -xzvf elasticsearch-2.2.0.tar.gz

tar -xzvf logstash-all-plugins-2.2.0.tar.gz

tar -xzvf kibana-4.4.1-linux-x64.tar.gz

解压后文件如下图所示:

Linux日志分析ELK环境搭建

2 elasticsearch

2.1 启动elasticsearch

ps:启动时候不能以root用户启动,否则会报错。

cd /home/ipsp/Etest/elasticsearch-2.2.0

#启动命令
bin/elasticsearch

正常启动情况的状态如下图所示:

Linux日志分析ELK环境搭建

注意:为了能够通过浏览器访问elasticsearch,我们需要配置elasticsearch的配置文件,主要是修改network.host和http.port

vim config/elasticsearch.yml


#修改配置文件内容如下:

network.host: 0.0.0.0

 http.port: 9200

Linux日志分析ELK环境搭建

之所以修改端口,是因为ES 每次启动时,端口可能会变(端口被占用,ES 自己会改端口)~

如果还不能正常启动 ES,并提示端口被占用,就查看一下什么程序占用 9200 端口,kill 掉,重启 ES 就行。

我遇到的,Java 把 9200 端口占用了。

 通过上述配置在浏览器就能够访问ElasticSearch了,这里我使用的Chrome浏览器,用360浏览器每次打开都是下载文件,浏览器的问题。 

Linux日志分析ELK环境搭建

 

2.2 检测elasticsearch状态

 重新打开一个终端,用非root 用户登录, 输入指令来检测Elasticsearch的连通性:

curl -X GET http://localhost:9200#需要先修改elasticsearch的配置文件,参考2.1,这样也能够检测curl -X GET http://168.33.130.224:9200

状态如图所示:

Linux日志分析ELK环境搭建

2.3 插件安装

先查看你的 ES 都有哪些插件,这里我已经安装了Head插件,所以直接能看到。

ipsp@ibps:~/Etest/elasticsearch-2.2.0> bin/plugin list
Installed plugins in /home/ipsp/Etest/elasticsearch-2.2.0/plugins:
- head
ipsp@ibps:~/Etest/elasticsearch-2.2.0>

1、安装Head插件

ES 支持在线和本地安装 Head。本地安装时,从 Github 上下载 Head 插件,然后上传到你的 ES 服务器,比如,/home/ipsp/Etest/elasticsearch-2.2.0 目录。

ps:在线安装总是安装失败,这里就讲解下本地安装的过程。

1、本地安装

  • 下载插件elasticsearch-head-master
  • 执行命令安装
    bin/plugin install -v file:plugins/elasticsearch-head-master.zip
     
    [root@vcyber elasticsearch]# bin/plugin install -v file:plugins/elasticsearch-head-master.zip
    -> Installing from file:plugins/elasticsearch-head-master.zip...
    Trying file:plugins/elasticsearch-head-master.zip ...
    Downloading .........DONE
    Verifying file:plugins/elasticsearch-head-master.zip checksums if available ...
    NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify)
    - Plugin information:
    Name: head
    Description: head - A web front end for an elastic search cluster
    Site: true
    Version: master
    JVM: false
     
    Installed head into /usr/local/elasticsearch/elasticsearch/plugins/head    //安装成功的标志

可以通过命令来查看插件是否安装完成:

bin/plugin list

注意:install 选项,ES 的 2.* 版本,都不带“-”横线选项,即“-install”。

注意:若是本地安装,而且,你把 Head 压缩包放到了 Elasticsearch/plugins 目录下,安装后,一定要将 Elasticsearch-head zip 压缩包删掉,否则启动 ES 时会报“不能初始化插件”错误。

  • 浏览器访问 http://your ip adress:9200/_plugin/head你就会看到如下界面:

Linux日志分析ELK环境搭建

关于head插件会在后面的部分进行介绍,未完待续

2、在线安装(只是参考)

[root@vcyber elasticsearch]# bin/plugin install mobz/elasticsearch-head
-> Installing mobz/elasticsearch-head...
Trying https://github.com/mobz/elasticsearch-head/archive/master.zip ...
Downloading ...................................................................................................................................................................................................................................................................................................................................................................................................................................DONE
Verifying https://github.com/mobz/elasticsearch-head/archive/master.zip checksums if available ...
NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify)
Installed head into /usr/local/elasticsearch/elasticsearch/plugins/head

2.4 问题汇总

下面有些问题是从别的地方摘抄的,可以借鉴,有的是自己遇到的。

1、java版本不对——更换JDK版本

[root@vcyber elasticsearch]# bin/elasticsearch

Exception in thread
"main" java.lang.RuntimeException: Java version: Oracle Cooration 1.7.0_51 [Java HotSpot(TM) 64-Bit Server VM 24.51-b03] suffers from crical bug https://bugs.openjdk.java.net/browse/JDK-8024830 which can cause dataorruption.

Please upgrade the JVM, see http:
//www.elastic.co/guide/en/elasticsearch/referce/current/_installation.html for current recommendations.

If you absolutely cannot upgrade, please add
-XX:-UseSuperWord to the JAVA_OPT environment variable.

Upgrading is preferred,
this workaround will result in degraded performance.

        at org.elasticsearch.bootstrap.JVMCheck.check(JVMCheck.java:
123)

        at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:
283)

        at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:
3

Refer to the log
for complete error details. 

大意是:Java 运行时异常,本机版本 JDK 有 bug……让升级 JVM。如果实在不能升级,就向 JAVA_OPT 环境变量添加 -XX:-UseSuperWord 选项。

2、elasticsearch 不能用 root 用户运行——切换到非root用户运行

在root用户解压完elasticsearch后出现如下错误:

[root@localhost cs408]# /usr/local/elasticsearch-5.0.1/bin/elasticsearch
[2016-11-30T09:24:56,235][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:116) ~[elasticsearch-5.0.1.jar:5.0.1]
    at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:103) ~[elasticsearch-5.0.1.jar:5.0.1]
    at org.elasticsearch.cli.SettingCommand.execute(SettingCommand.java:54) ~[elasticsearch-5.0.1.jar:5.0.1]
    at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:96) ~[elasticsearch-5.0.1.jar:5.0.1]
    at org.elasticsearch.cli.Command.main(Command.java:62) ~[elasticsearch-5.0.1.jar:5.0.1]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:80) ~[elasticsearch-5.0.1.jar:5.0.1]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:73) ~[elasticsearch-5.0.1.jar:5.0.1]
Caused by: java.lang.RuntimeException: can not run elasticsearch as root
    at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:96) ~[elasticsearch-5.0.1.jar:5.0.1]
    at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:155) ~[elasticsearch-5.0.1.jar:5.0.1]
    at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:286) ~[elasticsearch-5.0.1.jar:5.0.1]
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:112) ~[elasticsearch-5.0.1.jar:5.0.1]
    ... 6 more
[root@localhost cs408]# vim /usr/local/elasticsearch-5.0.1/config/elasticsearch.yml

解决方案:

因为安全问题elasticsearch 不让用root用户直接运行,所以要创建新用户,这里以已有用户cs408为例:

第一步:liunx创建新用户  adduser  XXX  然后给创建的用户加密码 passwd XXX    输入两次密码。(已有可以忽略)

第二步:切换刚才创建的用户 su XXX  然后执行elasticsearch  会显示AccessDeniedException 权限不足。

Linux日志分析ELK环境搭建

第三步:给新建的XXX赋权限,chmod 777 *  这个不行,因为这个用户本身就没有权限,肯定自己不能给自己付权限。所以要用root用户登录赋予权限。

第四步:root给XXX赋权限,chown -R XXX /你的elasticsearch安装目录。

chown -R cs408 /usr/local/elasticsearch-5.0.1 

再次执行就能看到成功输出信息。

bin/elasticsearch

3 logstash

logstash 提供各种安装包,包括 tar.gz,ZIP,DEB 和 RPM。另外,又提供了一个包含所有插件的压缩包——logstash-all-plugins-2.2.0.tar.gz 。本文以它为例。解压后,配置 logstash,运行即可。

3.1 创建配置文件

logstash运行时需要使用配置文件,主要是用于定义内容的输入、输出、中间处理等。

创建配置文件所在目录,并编辑配置文件

cd /home/ipsp/Etest/logstash-2.2.0vim logstash_agent.conf

在配置文件logstash_agent.conf添加如下内容:

<span class="pln">input <span class="pun">{<span class="pln"><br>    stdin<span class="pun">{}<span class="pln"><br><span class="pun">}<span class="pln"><br><br>output <span class="pun">{<span class="pln"><br>  elasticsearch <span class="pun">{<span class="pln"><br>    action <span class="pun">=><span class="pln"> <span class="str">"index"<span class="pln">            <span class="com"># 在ES上操作index<span class="pln"><br>    hosts  <span class="pun">=><span class="pln"> <span class="str">"168.33.130.224:9200"<span class="pln">  <span class="com"># ES地址<span class="pln"><br>    index  <span class="pun">=><span class="pln"> <span class="str">"logstash--%{+YYYY-MM}"<span class="pln">            <span class="com"># 索引名<span class="pln"><br>  <span class="pun">}</span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span>

上面的配置主要是在logstash命令段输入日志信息,然后将日志输出到elasticsearch中。

ps:注意这里的index选项,我命名的是<span class="pln">logstash--%{+YYYY-MM},这个在后面的head插件和kibana中都会有所体现的。</span>

3.2 启动

bin/logstash -f logstash_agent.conf 

看到如下的内容,便表示成功了

ipsp@ibps:~/Etest/logstash-2.2.0> bin/logstash -f logstash_agent.conf
Settings: Default pipeline workers: 40
Logstash startup completed

3.3 测试

 通过上面的配置,我们已经可以在logstash命令端输入信息,然后通过head插件进行查看了:

前提要保证elasticsearch和logstash都正常启动(需要先启动elasticsearch,再启动logstash,不然elasticsearch会报错),head插件也已经正确安装!

我们输入Hello world!

Linux日志分析ELK环境搭建

在head插件中的,我们可以看到如下信息:

Linux日志分析ELK环境搭建

在数据库浏览中,我们可以看到索引项——<span class="pln">logstash--%{+YYYY-MM},这个是我们在配置logstash输出到elasticsearch的配置文件中定义的<strong><span style="color: #ff0000;">(logstash_agent.conf)</span></strong>。</span>

我在logstash命令端输入的字符串Hello world!在head的图形化界面能够查看到,其中还包含了其他一些默认的字段。

这里每输出一条信息,在head插件中都能够实时的看到,感觉很强大。

到此,elasticsearch和logstash之间的连通已经搭建成功。

3.4 插件

你可以查看 logstash 都安装了哪些插件

bin/plugin list

 

ipsp@ibps:~/Etest/logstash-2.2.0> bin/plugin list
logstash-codec-avro
logstash-codec-cef
logstash-codec-cloudfront
logstash-codec-cloudtrail
logstash-codec-collectd
logstash-codec-compress_spooler
logstash-codec-dots
logstash-codec-edn
logstash-codec-edn_lines
logstash-codec-es_bulk
logstash-codec-fluent
logstash-codec-graphite
logstash-codec-gzip_lines
logstash-codec-json
logstash-codec-json_lines
logstash-codec-line
logstash-codec-msgpack
logstash-codec-multiline
logstash-codec-netflow
logstash-codec-nmap
logstash-codec-oldlogstashjson
logstash-codec-plain
logstash-codec-rubydebug
logstash-codec-s3plain
logstash-codec-spool
logstash-filter-aggregate
logstash-filter-alter
logstash-filter-anonymize
logstash-filter-checksum
logstash-filter-cidr
logstash-filter-cipher
logstash-filter-clone
logstash-filter-collate
logstash-filter-csv
logstash-filter-date
logstash-filter-de_dot
logstash-filter-dns
.......................
.......................

 

4 kibana

4.1 启动

ipsp@ibps:~/Etest> cd kibana-4.4.1-linux-x64/
ipsp@ibps:~/Etest/kibana-4.4.1-linux-x64> bin/kibana

如果看到类似如下输出,就代表成功了:

ipsp@ibps:~/Etest/kibana-4.4.1-linux-x64> bin/kibana
log [16:59:39.891] [info][status][plugin:kibana] Status changed from uninitialized to green - Ready
log [16:59:39.942] [info][status][plugin:elasticsearch] Status changed from uninitialized to yellow - Waiting for Elasticsearch
log [16:59:39.961] [info][status][plugin:kbn_vislib_vis_types] Status changed from uninitialized to green - Ready
log [16:59:39.974] [info][status][plugin:markdown_vis] Status changed from uninitialized to green - Ready
log [16:59:39.983] [info][status][plugin:metric_vis] Status changed from uninitialized to green - Ready
log [16:59:39.987] [info][status][plugin:spyModes] Status changed from uninitialized to green - Ready
log [16:59:39.991] [info][status][plugin:statusPage] Status changed from uninitialized to green - Ready
log [16:59:39.995] [info][status][plugin:table_vis] Status changed from uninitialized to green - Ready
log [16:59:40.026] [info][listening] Server running at http://168.33.130.224:5601
log [16:59:40.040] [info][status][plugin:elasticsearch] Status changed from yellow to green - Kibana index ready

通过浏览器访问http://168.33.130.224:5601/就可以看到kibana界面了。

配置ES索引:

kibana第一次使用时,会要求创建index,只要按照默认值即可。

 Linux日志分析ELK环境搭建

首次会提示没有索引。。。。

首先需要加上我们刚刚建立的索引<span class="pln"><span class="pun"><span class="pln"><span class="pun"><span class="pln"><span class="pun"><span class="pln"><span class="pun"><span class="pln"><span class="pun"><span class="pln"><span class="pun"><span class="pln"><span class="str"><span class="pln"><span class="com"><span class="pln"><span class="pun"><span class="pln"><span class="str"><span class="pln"><span class="com"><span class="pln">index <span class="pun">=><span class="pln"> <span class="str">"logstash--%{+YYYY-MM}"<span class="pln"> (这里请参考3.1中的logstash_agent.conf的配置)</span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span></span>, 点击setting->indices, 在这里我们可以Configure an index pattern, 也就是说可以配置 正则匹配的index,

可以看到默认的index是"logstash-*", 默认是从logstash导出的数据, 因为我们在logstash中配置的索引就是logstash开头的,所以这里我们保持默认不变.

下面还有一个Time-field name, 一般来说time都是一个必要的字段, 并且这个字段的类型是date类型! 不是string!!! 如果没有时间字段, 那么将上面的" Index contains time-based events" 取消就OK.

创建完索引是这样的:

Linux日志分析ELK环境搭建

点击菜单栏: Discover, 如果没有看到数据, 那么点击右边的时间, 改成Today, 现在你应该能看到数据了吧...反正我能看到:

ps:这里的时间是以Linux服务器中的时间为主。我这里点today看不到,点的This Week才看到:

Linux日志分析ELK环境搭建

在上面可以直接搜索,很方便。其他功能待开发。

4.2 问题

1、出现Configure an index pattern create是灰色的的问题

这个问题是配置文件的问题,修改logstash的配置文件,使其输出到elasticsearch,其中的index选项配置为kibana上的index,比如我是index => "logstash--%{+YYYY-MM}" ,这个时候重启logstash,kibana就保持默认的logstash-*索引既可,应该能够看到Create按钮了

相关推荐