Elasticsearch 6.1官方参考手册(一)入门(3)集群入门学习
探究你的集群
REST API
既然我们的节点(集群)已经安装成功并且已经启动运行,那么下一步就是去了解如何去操作它。幸运的是,Elasticsearch提供了非常全面和强大的REST API,我们可以通过它去跟集群交互。通过API我们可以完成如下的功能:
- 检查集群,节点和索引的健康状况,状态和统计数据
- 管理集群,节点和索引的数据和原数据
- 执行CRUD(增删改查)操作,依靠索引进行搜索
- 执行高级搜索操作,比如分页,排序,过滤,脚本化,聚集等等
集群健康监控
让我们从一个简单的健康检查开始,通过这个我们可以了解我们集群的运行情况。我们将使用curl工具来做这个测试,当然你可以使用任何可以发送HTTP/REST请求的工具。让我们假设我们依然在之前已启动的Elasticsearch节点上并且打开了另一个shell窗口。
我们将使用 _cat API
去检查集群健康状态。HTTP请求内容为:
GET /_cat/health?v
你可以通过点击VIEW IN Console在Kibana Console中运行命令,或者直接执行如下curl命令:
curl -XGET 'localhost:9200/_cat/health?v&pretty'响应结果为:
epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent 1475247709 17:01:49 elasticsearch green 1 1 0 0 0 0 0 0 - 100.0%
我们可以看到我们的名称为“elasticsearch”的集群正在运行,状态标识为green
。
无论何时查看集群健康状态,我们会得到green
、yellow
、red
中的任何一个。
- Green - 一切运行正常(集群功能齐全)
- Yellow - 所有数据是可以获取的,但是一些复制品还没有被分配(集群功能齐全)
- Red - 一些数据因为一些原因获取不到(集群部分功能不可用)
注意:当一个集群处于red状态时,它会通过可用的分片继续提供搜索服务,但是当有未分配的分片时,你需要尽快的修复它。
另外,从上面的返回结果中我们可以看到,当我们里面没有数据时,总共有1个节点,0个分片。注意当我们使用默认的集群名称(elasticsearch)并且当Elasticsearch默认使用单播网络发现在同一台机器上的其它节点时,很可能你会在你电脑上不小心启动不止一个节点并且他们都加入了一个集群。在这种情况下,你可能会从上面的返回结果中看到不止一个节点。
我们也可以通过如下请求获取集群中的节点列表:
Http请求体
GET /_cat/nodes?vCurl命令
curl -XGET 'localhost:9200/_cat/nodes?v&pretty'Kibana Console
http://localhost:5601/app/kibana#/dev_tools/console?load_from=https://www.elastic.co/guide/...返回结果为:
ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name 127.0.0.1 10 5 5 4.46 mdi * PB2SGZY
这里,我们可以看到我们的一个节点名称叫做“PB2SGZY”,它是目前我们集群中的唯一的节点。
列出所有的索引
现在让我们来大概看一看我们的索引:
Http请求内容:
Curl命令
curl -XGET 'localhost:9200/_cat/indices?v&pretty'Kibana Console
http://localhost:5601/app/kibana#/dev_tools/console?load_from=https://www.elastic.co/guide/...得到的返回结果为:
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
这个返回结果只是一个表头,简单说就是我们的集群中还没有任何索引。
创建一个索引
现在让我们创建一个索引,名称为“customer”,然后再一次列出所有的索引:
Http请求内容:
PUT /customer?prettyGET /_cat/indices?v
Curl命令
curl -XPUT 'localhost:9200/customer?pretty&pretty'curl -XGET 'localhost:9200/_cat/indices?v&pretty'
Kibana Console
http://localhost:5601/app/kibana#/dev_tools/console?load_from=https://www.elastic.co/guide/...第一个命令使用PUT
方法创建了一个名为“customer”的索引。我们简单的在请求后面追加pretty
参数来使返回值以格式化过美观的JSON输出(如果返回值是JSON格式的话)。
然后它的返回结果为:
第一个命令: { "acknowledged" : true, "shards_acknowledged" : true, "index" : "customer" } 第二个命令: health status index uuid pri rep docs.count docs.deleted store.size pri.store.size yellow open customer 95SQ4TSUT7mWBT7VNHH67A 5 1 0 0 260b 260b
第二个命令的返回结果告诉我们,我们现在有1个名称为“customer”的索引,并且有5个主分片和1个拷贝(默认情况),并且里面包含0个文档。
你可能也注意到,这个customer索引的健康状态是yellow,回忆我们之前讨论过的,yellow的意思是有一些拷贝还没有被分配。索引发生这种情况的原因是Elasticsearch默认为当前索引创建一个拷贝。但是当前我们只启动了一个节点,这个拷贝直到一段时间后有另一个节点加入集群之前,不会被分配(为了高可用,拷贝不会与索引分配到同一个节点上)。一旦拷贝在第二个节点上获得分配,这个索引的健康状态就会变成green。
索引和文档查询
现在让我们往customer索引中放点东西。如下请求将一个简单的顾客文档放入customer索引中,这个文档有一个ID为1:
Http请求内容:
PUT /customer/doc/1?pretty { "name": "John Doe" }
Curl命令
curl -XPUT 'localhost:9200/customer/doc/1?pretty&pretty' -H 'Content-Type: application/json' -d '{"name": "John Doe"}'
Kibana Console
http://localhost:5601/app/kibana#/dev_tools/console?load_from=https://www.elastic.co/guide/en/elasticsearch/reference/current/snippets/_index_and_query_a_document/1.json
返回结果为:
{ "_index" : "customer", "_type" : "doc", "_id" : "1", "_version" : 1, "result" : "created", "_shards" : { "total" : 2, "successful" : 1, "failed" : 0 }, "_seq_no" : 0, "_primary_term" : 1 }
从上面我们可以看到,一个新的顾客文档已经在customer索引中成功创建。同时这个文档有一个自己的id,这个id就是我们在将文档加入索引时指定的。
这里有一个重要的注意点,你不需要在将一个文档加入一个索引前明确的将这个索引预先创建好。在上面我们创建文档的例子中,如果这个customer索引事先不存在,Elasticsearch会自动创建customer索引。
现在让我们获取刚刚加入索引的文档:
Http请求体:
GET /customer/doc/1?pretty
Curl命令
curl -XGET 'localhost:9200/customer/doc/1?pretty&pretty'
Kibana Console
http://localhost:5601/app/kibana#/dev_tools/console?load_from=https://www.elastic.co/guide/en/elasticsearch/reference/current/snippets/_index_and_query_a_document/2.json
返回结果为:
{ "_index" : "customer", "_type" : "doc", "_id" : "1", "_version" : 1, "found" : true, "_source" : { "name": "John Doe" } }
这里没有什么不寻常的,除了一个属性found
,这个found属性表示我们通过请求ID为1发现了一个文档,还有另一个属性_source
,_source属性返回我们在上一步中加入索引的完整JSON文档内容。
删除一个索引
现在让我们删除刚刚创建的索引并且再次列出所有的索引:
Http请求内容:
DELETE /customer?pretty GET /_cat/indices?v
Curl命令
curl -XDELETE 'localhost:9200/customer?pretty&pretty' curl -XGET 'localhost:9200/_cat/indices?v&pretty'
Kibana Console
http://localhost:5601/app/kibana#/dev_tools/console?load_from=https://www.elastic.co/guide/en/elasticsearch/reference/current/snippets/_delete_an_index/1.json
第一个命令的返回结果为:
{ "acknowledged" : true }
第二个命令的返回结果为:
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
以上结果意味着我们的索引已经被删除,并且我们回到了刚开始集群中什么都没有的地方。
在我们继续前进之前,让我们来仔细看一下到目前为止学习的这些API命令:
PUT /customer PUT /customer/doc/1 { "name": "John Doe" } GET /customer/doc/1 DELETE /customer
如果我们在学习上面的命令时非常仔细的话,我们一定会发现在Elasticsearch中访问数据的模式。这个模式可以总结为以下形式:
<REST Verb> /<Index>/<Type>/<ID>
这种REST访问模式遍布所有的API命令,如果简单的记住它,你将会在掌握Elasticsearch的过程中有一个很好的开端。
如下是我在上述章节实际做的操作:
[root@bogon elasticsearch-6.1.1]# curl -XGET 'localhost:9200/_cat/health?v&pretty' epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent 1514269983 14:33:03 elasticsearch green 1 1 0 0 0 0 0 0 - 100.0% [root@bogon elasticsearch-6.1.1]# curl -XGET 'localhost:9200/_cat/health?v&pretty' epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent 1514270109 14:35:09 elasticsearch green 1 1 0 0 0 0 0 0 - 100.0% [root@bogon elasticsearch-6.1.1]# curl -XGET 'localhost:9200/_cat/nodes?v&pretty' ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name 127.0.0.1 7 93 0 0.00 0.01 0.05 mdi * sEicoNR [root@bogon elasticsearch-6.1.1]# curl -XGET 'localhost:9200/_cat/indices?v&pretty' health status index uuid pri rep docs.count docs.deleted store.size pri.store.size [root@bogon elasticsearch-6.1.1]# curl -XPUT 'localhost:9200/customer?pretty&pretty' { "acknowledged" : true, "shards_acknowledged" : true, "index" : "customer" } [root@bogon elasticsearch-6.1.1]# curl -XGET 'localhost:9200/_cat/indices?v&pretty' health status index uuid pri rep docs.count docs.deleted store.size pri.store.size yellow open customer Azxs-a4FQnGKgAj0zdWXxQ 5 1 0 0 1.1kb 1.1kb [root@bogon elasticsearch-6.1.1]# curl -XPUT 'localhost:9200/customer/doc/1?pretty&pretty' -H 'Content-Type: application/json' -d '{"name": "John Doe"}' { "_index" : "customer", "_type" : "doc", "_id" : "1", "_version" : 1, "result" : "created", "_shards" : { "total" : 2, "successful" : 1, "failed" : 0 }, "_seq_no" : 0, "_primary_term" : 1 } [root@bogon elasticsearch-6.1.1]# curl -XGET 'localhost:9200/customer/doc/1?pretty&pretty' { "_index" : "customer", "_type" : "doc", "_id" : "1", "_version" : 1, "found" : true, "_source" : { "name" : "John Doe" } } [root@bogon elasticsearch-6.1.1]# curl -XDELETE 'localhost:9200/customer?pretty&pretty' { "acknowledged" : true } [root@bogon elasticsearch-6.1.1]# curl -XGET 'localhost:9200/_cat/indices?v&pretty' health status index uuid pri rep docs.count docs.deleted store.size pri.store.size [root@bogon elasticsearch-6.1.1]#
相关推荐
另外一部分,则需要先做聚类、分类处理,将聚合出的分类结果存入ES集群的聚类索引中。数据处理层的聚合结果存入ES中的指定索引,同时将每个聚合主题相关的数据存入每个document下面的某个field下。