Elasticsearch集群

1.集群节点

ELasticsearch的集群是由多个节点组成的，通过cluster.name设置集群名称，并且用于区分其它的集群，每个节点通过node.name指定节点的名称。
　　在Elasticsearch中，节点的类型主要有4种：
　　　　master节点
　　　　　　配置文件中node.master属性为true(默认为true)，就有资格被选为master节点。
　　　　　　master节点用于控制整个集群的操作。比如创建或删除索引，管理其它非master节点等。
　　　　data节点
　　　　　　配置文件中node.data属性为true(默认为true)，就有资格被设置成data节点。
　　　　　　data节点主要用于执行数据相关的操作。比如文档的CRUD。
　　　　客户端节点
　　　　　　配置文件中node.master属性和node.data属性均为false。

　　　　该节点不能作为master节点，也不能作为data节点。
　　　　　　可以作为客户端节点，用于响应用户的请求，把请求转发到其他节点
　　　　部落节点
　　　　　　当一个节点配置tribe.*的时候，它是一个特殊的客户端，它可以连接多个集群，在所有连接的集群上执行搜索和其他操作。

2.搭建集群（搭建时如果使用已存在的单节点，记得不能有数据，把data目录下的数据文件清除）

1.准备三台elasticsearch服务器（测试资源有限，这里使用一台服务器创建三个节点）

2.node01的配置：

　　cluster.name: es-fan-cluster　　#集群名称，保证唯一

　　node.name: node01　　#节点名称，必须不一样

　　node.master: true

　　node.data: true

　　network.host: 0.0.0.0

　　http.port: 9200　　#服务端口号，在同一机器下必须不一样

　　transport.tcp.port: 9300　　#集群间通信端口号，在同一机器下必须不一样

　　discovery.zen.ping.unicast.hosts: ["127.0.0.1:9300","127.0.0.1:9301","127.0.0.1:9302"]　　#设置集群自动发现机器ip集合

　　discovery.zen.minimum_master_nodes: 2　　#谁想成为主节点，必须有2个节点同意

　　http.cors.enabled: true　　#开启跨域请求

　　http.cors.allow-origin: "*"

　node02的配置：

　　基于node01的配置上进行修改

　　　　node.name: node02

　　　　http.port: 9201

　　　　transport.tcp.port: 9301

　node03的配置：

　　基于node01的配置上进行修改

　　　　node.name: node03

　　　　http.port: 9202

　　　　transport.tcp.port: 9302

3.分别启动3个节点

　　./elasticsearch -d

4.启动成功

 　　查询集群状态：GET /_cluster/health

 　　集群状态的三种颜色：

 3.分片和副本

为了将数据添加到Elasticsearch，我们需要索引(index)——一个存储关联数据的地方。实际上，索引只是一个用来指向一个或多个分片(shards)的“逻辑命名空间(logical namespace)”.

　　一个分片(shard)是一个最小级别“工作单元(worker unit)”,它只是保存了索引中所有数据的一部分。

　　我们需要知道是分片就是一个Lucene实例，并且它本身就是一个完整的搜索引擎。应用程序不会和它直接通信。

　　分片可以是主分片(primary shard)或者是复制分片(replica shard)。

　　索引中的每个文档属于一个单独的主分片，所以主分片的数量决定了索引最多能存储多少数据。

　　复制分片只是主分片的一个副本，它可以防止硬件故障导致的数据丢失，同时可以提供读请求，比如搜索或者从别的分片取回文档。

　　当索引创建完成的时候，主分片的数量就固定了，但是复制分片的数量可以随时调整。

4.故障转移

1.将data节点停止（node02）

　　当前集群状态变为黄色，表示主节点可用，副本节点不完全可用

　　过一段时间观察，会发现节点列表中看不到node02，副本节点分配到了node01和node03，集群状态恢复到绿色。

　　将node02恢复：node02恢复后，会重新加入了集群，并且重新分配了节点信息。

2.将master节点停止（node01）

　　从结果中可以看出，集群对master进行了重新选举，选择新的节点为master。并且集群状态变成黄色。

　　等待一段时间后，会发现节点列表中看不到node01，集群状态从黄色变为了绿色：

　　恢复node01节点：node01恢复后，发现node01可以正常加入到集群中，集群状态依然为绿色：

　　特别说明：

　　　　如果在配置文件中discovery.zen.minimum_master_nodes设置的不是N/2+1时，会出现脑裂问题，之前宕机的主节点恢复后不会加入到集群。

 5.分布式文档

1.路由

　　当我们想在一个集群保存文档时，文档该存储到哪个节点呢？ 是随机吗？ 是轮询吗？

　　实际上，在ELasticsearch中，会采用计算的方式来确定存储到哪个节点，计算公式如下：

　　　　shard = hash(routing) % number_of_primary_shards

　　　　　　routing值是一个任意字符串，它默认是_id但也可以自定义。

　　　　　　这个routing字符串通过哈希函数生成一个数字，然后除以主切片的数量得到一个余数(remainder)，余数的范围永远是0到number_of_primary_shards - 1，这个数字就是特定文档所在的分片。

　　　　这就是为什么创建了主分片后，不能修改的原因，修改了主分片，会导致之前存储的文档找不到。

2.文档的写操作

　　新建、索引和删除请求都是写(write)操作，它们必须在主分片上成功完成才能复制到相关的复制分片上。

 　　　　主分片和复制分片成功新建、索引或删除一个文档必要的顺序步骤：

　　　　1. 客户端给 Node 1 发送新建、索引或删除请求。

　　　　2. 节点使用文档的 _id 确定文档属于分片 0 。它转发请求到 Node 3 ，分片 0 位于这个节点上。

　　　　3. Node 3 在主分片上执行请求，如果成功，它转发请求到相应的位于 Node 1 和 Node 2 的复制节点上。当所有的复制节点报告成功， Node 3 报告成功到请求的节点，请求的节点再报告给客户端。客户端接收到成功响应的时候，文档的修改已经被应用于主分片和所有的复制分片，修改生效了。

3.搜索文档（单个文档）

　　文档能够从主分片或任意一个复制分片被检索。

 　　　　在主分片或复制分片上检索一个文档必要的顺序步骤：

　　　　1. 客户端给 Node 1 发送get请求。

　　　　2. 节点使用文档的 _id 确定文档属于分片 0 。分片 0 对应的复制分片在三个节点上都有。此时，它转发请求到Node 2 。

　　　　3. Node 2 返回文档(document)给 Node 1 然后返回给客户端。

　　对于读请求，为了平衡负载，请求节点会为每个请求选择不同的分片——它会循环所有分片副本。

　　可能的情况是，一个被索引的文档已经存在于主分片上却还没来得及同步到复制分片上。这时复制分片会报告文档未找到，主分片会成功返回文档。

　　一旦索引请求成功返回给用户，文档则在主分片和复制分片都是可用的。

4.全文搜索

　　对于全文搜索而言，文档可能分散在各个节点上，那么在分布式的情况下，如何搜索文档呢？

　　搜索，分为2个阶段，搜索（query）+取回（fetch）。

　　搜索（query）：

 　　　　　　查询阶段包含以下三步：

　　　　　　1. 客户端发送一个 search（搜索） 请求给 Node 3 , Node 3 创建了一个长度为 from+size 的空优先级队列

　　　　　　2. Node 3 转发这个搜索请求到索引中每个分片的原本或副本。每个分片在本地执行这个查询并且将结果返回到一个大小为 from+size 的有序本地优先队列里去。

　　　　　　3. 每个分片返回document的ID和它优先队列里所有document的排序值给协调节点 Node 3 。 Node 3 把这些值合并到自己的优先队列里产生全局排序结果。

　　取回（fetch）：

　　　　分发阶段由以下步骤构成：

　　　　　　1. 协调节点辨别出哪个document需要取回，并且向相关分片发出 GET 请求。

　　　　　　2. 每个分片加载document并且根据需要丰富（enrich）它们，然后再将document返回协调节点。

　　　　　　3. 一旦所有的document都被取回，协调节点会将结果返回给客户端。