elasticsearch学习笔记(八)——剖析Elasticsearch的基础分布式架构
下面来一步一步分析Elasticsearch的基础分布式架构
1、Elasticsearch对复杂分布式机制的透明隐藏特性
Elasticsearch是一套分布式系统,它隐藏了复杂的分布式机制,可以应对大数据。像
分片机制:我们可以随随便便就将一些document插入到es集群中去,不需要关心数据是怎么进行分片的,数据到哪个shard中去
cluster discovery:集群发现机制
shard负载均衡:将shard分配到ES集群节点上面去,这个过程ES是自动进行均匀分配的,以保持每个节点均衡的读写负载请求。
等等
2、Elasticsearch的垂直扩容与水平扩容
垂直扩容:给机器升级配置,或是采购更强大的服务器。这种方式成本会非常高,而且会有瓶颈。
水平扩容:通俗来讲就是加机器,这是业界经常采用的方案,采购越来越多的普通服务器,性能比较一般,但是很多普通服务器组织在一起,就能构成强大的计算和存储能力
3、增加和减少节点时数据的rebalance
在修改replica 的时候,会导致各个节点的分片不均衡,ES此时会自动进行rebalance操作,来保证各个节点的shard保持均匀。
4、master节点
Elasticsearch集群的master节点用于维护集群的状态,像
(1)创建或者删除索引
(2)增加或者删除节点
均在master节点完成
5、节点对等的分布式架构
Elasticsearch采用节点对等的分布式架构,这种架构的好处是对于每个节点都能接受所有的请求,请求打到集群的时候会进行自动路由到相应的分片。
最后附上中华石衫老师画的手绘图:
相关推荐
另外一部分,则需要先做聚类、分类处理,将聚合出的分类结果存入ES集群的聚类索引中。数据处理层的聚合结果存入ES中的指定索引,同时将每个聚合主题相关的数据存入每个document下面的某个field下。