ELK日志服务器的快速搭建并收集Nginx日志

今天给大家带来的是开源实时日志分析 ELK , ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。官方网站：https://www.elastic.co

其中的3个软件是：

Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful 风格接口，多数据源，自动搜索负载等。

Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。

kibana 也是一个开源和免费的工具，他 Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志

架构原理图：

一、先安装elasticsearch集群，并测试通过再进行其他软件安装。

在test5，test4上安装分别安装elasticsearch-2.3.3.rpm  前提要安装java1.8 步骤如下：

yum remove java-1.7.0-openjdk

rpm -ivh jdk-8u91-linux-x64.rpm

yum localinstall elasticsearch-2.3.3.rpm

配置elasticsearch  在目录/etc/elasticsearch目录下面  lasticsearch.yml  elasticsearch.yml.bak  logging.yml  scripts

编辑lasticsearch.yml

修改如下配置

cluster.name: myelk  #设置集群的名称,在一个集群里面都是这个名称，必须相同

node.name: test5    #设置每一个节点的名，每个节点的名称必须不一样。

path.data: /path/to/data    #指定数据的存放位置，线上的机器这个要放到单一的大分区里面。

path.logs: /path/to/logs    #日志的目录

bootstrap.mlockall: true  #启动最优内存配置，启动就分配了足够的内存，性能会好很多，测试我就不启动了。

network.host: 0.0.0.0  #监听的ip地址，这个表示所有的地址。

http.port: 9200      #监听的端口号

discovery.zen.ping.unicast.hosts: ["192.168.48.133", "192.168.48.131"]  #知道集群的ip有那些，没有集群就会出现就一台工作

建立目录

mkdir -pv /pach/to/{data,logs}

chown elasticsearch.elasticsearch /path -R

启动服务器  service elasticsearch start  并查看监控端口启动

访问9200端口查看服务

两台的配置都一样就是上面的IP和note名称要配置不一样就行

安装插件 head和kopf 之后访问 ip:9200/_plugin/head  和ip:9200/_plugin/kopf  （插件可以图形查看elasticsearch的状态和删除创建索引）

/usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf

/usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head