ElasticSearch - 聚合 aggs
聚合概念
ElasticSearch除了致力于搜索之外，也提供了聚合实时分析数据的功能
如果把搜索比喻为大海捞针(从海量的文档中找出符合条件的那一个)，那麽聚合就是去分析大海中的针们的特性，像是
在大海里有多少针？
针的平均长度是多少？
按照针的製造商来划分，针的长度中位值是多少？
每月加入到海中的针有多少？
这里面有异常的针麽？
因此透过聚合，我们可以得到一个数据的概览，聚合能做的是分析和总结全套的数据，而不是查找单个文档(这是搜索做的事)
聚合允许我们向数据提出一些複杂的问题，虽然他的功能完全不同于搜索，但他们其实使用了相同的数据结构，这表示聚合的执行速度很快，并且就像搜索一样几乎是实时的
并且由于聚合和搜索是使用同样的数据结构，因此聚合和搜索可以是一起执行的
这表示我们可以在一次json请求裡，同时对相同的数据进行 搜索/过滤 + 分析，两个愿望一次满足
聚合的两个主要的概念，分别是 桶 和 指标
桶(Buckets) : 满足特定条件的文档的集合
当聚合开始被执行，每个文档会决定符合哪个桶的条件，如果匹配到，文档将放入相应的桶并接着进行聚合操作
像是一个员工属于男性桶或者女性桶，日期2014-10-28属于十月桶，也属于2014年桶
桶可以被嵌套在其他桶里面
像是北京能放在中国桶裡，而中国桶能放在亚洲桶裡
Elasticsearch提供了很多种类型的桶，像是时间、最受欢迎的词、年龄区间、地理位置桶等等，不过他们在根本上都是通过同样的原理进行操作，也就是基于条件来划分文档，一个文档只要符合条件，就可以加入那个桶，因此一个文档可以同时加入很多桶
指标(Metrics) : 对桶内的文档进行统计计算
桶能让我们划分文档到有意义的集合， 但是最终我们需要的是对这些桶内的文档进行一些指标的计算
指标通常是简单的数学运算(像是min、max、avg、sum），而这些是通过当前桶中的文档的值来计算的，利用指标能让你计算像平均薪资、最高出售价格、95%的查询延迟这样的数据
aggs 聚合的模板
当query和aggs一起存在时，会先执行query的主查询，主查询query执行完后会搜出一批结果，而这些结果才会被拿去aggs拿去做聚合
另外要注意aggs后面会先接一层自定义的这个聚合的名字，然后才是接上要使用的聚合桶
如果有些情况不在意查询结果是什麽，而只在意aggs的结果，可以把size设为0，如此可以让返回的hits结果集是0，加快返回的速度
一个aggs裡可以有很多个聚合，每个聚合彼此间都是独立的，因此可以一个聚合拿来统计数量、一个聚合拿来分析数据、一个聚合拿来计算标准差...，让一次搜索就可以把想要做的事情一次做完
像是此例就定义了3个聚合，分别是custom_name1、custom_name2、custom_name3
aggs可以嵌套在其他的aggs裡面，而嵌套的桶能作用的文档集范围，是外层的桶所输出的结果集
GET 127.0.0.1/mytest/doc/_search
{
"query": { ... },
"size": 0,
"aggs": {
"custom_name1": { //aggs后面接著的是一个自定义的name
"桶": { ... } //再来才是接桶
},
"custom_name2": { //一个aggs裡可以有很多聚合
"桶": { ... }
},
"custom_name3": {
"桶": {
.....
},
"aggs": { //aggs可以嵌套在别的aggs裡面
"in_name": { //记得使用aggs需要先自定义一个name
"桶": { ... } //in_name的桶作用的文档是custom_name3的桶的结果
}
}
}
}
}
结果
{
"hits": {
"total": 8,
"max_score": 0,
"hits": [] //因为size设为0，所以没有查询结果返回
},
"aggregations": {
"custom_name1": {
...
},
"custom_name2": {
...
},
"custom_name3": {
... ,
"in_name": {
....
}
}
}
}
聚合中常用的桶 terms、filter、top_hits
terms桶 : 针对某个field的值进行分组，field有几种值就分成几组
terms桶在进行分组时，会爲此field中的每种值创建一个新的桶
要注意此 "terms桶" 和平常用在主查询query中的 "查找terms" 是不同的东西
具体实例
首先插入几笔数据，其中color是一个keyword类型
{ "color": "red" }
{ "color": "green" }
{ "color": ["red", "blue"] }
执行terms聚合
GET 127.0.0.1/mytest/doc/_search
{
"query": {
"match_all": {}
},
"size": 0,
"aggs": {
"my_name": {
"terms": {
"field": "color" //使用color来进行分组
}
}
}
}
结果
因为color总共有3种值，red、blue、green，所以terms桶为他们产生了3个bucket，并计算了每个bucket中符合的文档有哪些
bucket和bucket间是独立的，也就是说一个文档可以同时符合好几个bucket，像是{"color": ["red", "blue"]}就同时符合了red和blue bucket
"aggregations": {
"my_name": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 0,
"buckets": [
{
"key": "blue",
"doc_count": 1
},
{
"key": "red",
"doc_count": 2 //表示color为red的文档有2个，此例中就是 {"color": "red"} 和 {"color": ["red", "blue"]}这两个文档
},
{
"key": "green",
"doc_count": 1
}
]
}
}
具体实例二
将terms桶搭配度量指标(avg、min、max、sum...)一起使用
其实度量指标也可以看成一种"桶"，他可以和其他正常的桶们进行嵌套作用，差别只在指标关注的是这些文档中的某个数值的统计，而桶关注的是文档
首先准备数据，color一样为keyword类型，而price为integer类型
{ "color": "red", "price": 100 }
{ "color": "green", "price": 500 }
{ "color": ["red", "blue"], "price": 1000 }
将avg指标嵌套在terms桶裡一起使用
GET 127.0.0.1/mytest/doc/_search
{
"query": {
"match_all": {}
},
"size": 0,
"aggs": {
"my_name": {
"terms": {
"field": "color"
},
"aggs": { //嵌套两个指标avg、min在terms桶中
"my_avg_price": { //my_avg_price计算每个bucket的平均price
"avg": {
"field": "price"
}
},
"my_min_price": { //my_min_price计算每个bucket中的最小price
"min": {
"field": "price"
}
}
}
}
}
}
结果
"aggregations": {
"my_name": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 0,
"buckets": [ //terms桶中的每个bucket都会计算avg和min两个指标
{
"key": "blue",
"doc_count": 1,
"my_avg_price": { //avg指标
"value": 1000
},
"my_min_price": { //min指标
"value": 100
}
},
{
"key": "red",
"doc_count": 2,
"my_avg_price": { //avg指标计算的值，因为符合color为red的文档有两笔，所以平均price为100+1000/2 = 550
"value": 550
},
"my_min_price": {
"value": 100
}
},
{
"key": "green",
"doc_count": 1,
"my_avg_price": {
"value": 500
},
"my_min_price": {
"value": 500
}
}
]
}
}
filter桶 : 一个用来过滤的桶
要注意此处的 "filter桶" 和用在主查询query的 "过滤filter" 的用法是一模一样的，都是过滤
不过差别是 "filter桶" 会自己给创建一个新的桶，而不会像 "过滤filter" 一样依附在query下
因为filter桶毕竟还是一个聚合桶，因此他可以和别的桶进行嵌套，但他不是依附在别的桶上
具体实例
取得color为red或是blue的文档
GET 127.0.0.1/mytest/doc/_search
{
"query": {
"match_all": {}
},
"size": 0,
"aggs": {
"my_name": {
"filter": { //因为他用法跟一般的过滤filter一样，所以也能使用bool嵌套
"bool": {
"must": {
"terms": { //注意此terms是查找terms，不是terms桶
"color": [ "red", "blue" ]
}
}
}
}
}
}
}
结果
"aggregations": {
"my_name": {
"doc_count": 2 //filter桶计算出来的文档数量
}
}
具体实例二
filter桶和terms桶嵌套使用，先过滤出color为red以及blue的文档，再对这些文档进行color分组
GET 127.0.0.1/mytest/doc/_search
{
"query": {
"match_all": {}
},
"size": 0,
"aggs": {
"my_name": { //my_name聚合
"filter": { //filter桶
"bool": {
"must": {
"terms": {
"color": [ "red", "blue" ]
}
}
}
},
"aggs": {
"my_name2": { //my_name2聚合，嵌套在my_name聚合裡
"terms": { //terms桶
"field": "color"
}
}
}
}
}
}
结果
因为terms桶嵌套在filter桶内，所以query查询出来的文档们会先经过filter桶，如果符合filter桶，才会进入到terms桶内
此处通过filter桶的文档只有两笔，分别是{"color": "red"}以及{"color": ["red", "blue"]}，所以terms桶只会对这两笔文档做分组
这也是为什麽terms桶裡没有出现color为green的分组，因为这个文档在filter桶就被挡下来了
"aggregations": {
"my_name": {
"doc_count": 2, //filter桶计算的数量，通过此处的文档只有2笔
"my_name2": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 0,
"buckets": [
{
"key": "red",
"doc_count": 2 //terms桶计算的数量
},
{
"key": "blue",
"doc_count": 1 //terms桶计算的数量
}
]
}
}
}
top_hits桶 : 在某个桶底下找出这个桶的前几笔hits，返回的hits格式和主查询query返回的hits格式一模一样
top_hits桶支持的参数
from、size
sort : 设置返回的hits的排序
要注意，假设在主查询query裡已经对数据设置了排序sort，此sort并不会对aggs裡面的数据造成影响，也就是说主查询query查找出来的数据会先丢进aggs而非先经过sort，因此就算主查询设置了sort，也不会影响aggs数据裡的排序
因此如果在top_hits桶裡的返回的hits数据想要排序，需要自己在top_hits桶裡设置sort
如果没有设置sort，默认使用主查询query所查出来的_score排序
_source : 设置返回的字段
具体实例
首先准备数据，color是keyword类型
{ "color": "red", "price": 100 }
{ "color": ["red", "blue"], "price": 1000 }
使用terms桶分组，再使用top_hits桶找出每个group裡面的price最小的前5笔hits
GET 127.0.0.1/mytest/doc/_search
{
"query": {
"match_all": {}
},
"size": 0,
"aggs": {
"my_name": {
"terms": {
"field": "color"
},
"aggs": {
"my_top_hits": {
"top_hits": {
"size": 5,
"sort": {
"price": "asc"
}
}
}
}
}
}
}
结果
"aggregations": {
"my_name": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 0,
"buckets": [
{
"key": "red",
"doc_count": 2, //terms桶计算出来的color为red的文档数
"my_top_hits": {
"hits": { //top_hits桶找出color为red的这些文档中，price从小到大排序取前5笔
"total": 2,
"max_score": null,
"hits": [
{
"_score": null,
"_source": { "color": "red", "price": 100 },
"sort": [ 100 ]
},
{
"_score": null,
"_source": { "color": [ "red", "blue" ], "price": 1000 },
"sort": [ 1000 ]
}
]
}
}
},
{
"key": "blue",
"doc_count": 1, //terms桶计算出来的color为blue的文档数
"my_top_hits": {
"hits": { //top_hits桶找出的hits
"total": 1,
"max_score": null,
"hits": [
{
"_source": {
"color": [ "red", "blue" ], "price": 1000 },
"sort": [ 1000 ]
}
]
}
}
}
]
}
}
多桶排序
terms桶、histogram桶、data_histogram桶这些桶属于多值桶，也就是说他们会动态生成很多桶，对于这些生成出来的桶们，Elasticsearch默认会使用doc_value进行降序排序，也就是说哪个生成桶的doc_value文档数较多，哪个生成桶就排在前面
如果想要改变这个生成桶与生成桶之间的排序，可以在使用terms桶、histogram桶、data_histogram桶时，使用order进行排序
order支持的参数
_count : 按照文档数排序
_key : 按照每个桶的字符串值的字母顺序排序
具体实例
准备数据，color是keyword类型
{ "color": "red", "price": 100 }
{ "color": ["red", "blue"], "price": 1000 }
使用terms桶进行分组，并且规定按照桶的字母顺序升序，因此a生成桶会排在最前面而z生成桶会排在最后面
GET 127.0.0.1/mytest/doc/_search
{
"query": {
"match_all": {}
},
"size": 0,
"aggs": {
"my_name": {
"terms": {
"field": "color",
"order": {
"_key": "asc"
}
}
}
}
}
结果
"aggregations": {
"my_name": {
"doc_count_error_upper_bound": 0,
"sum_other_doc_count": 0,
"buckets": [
{
"key": "blue",
"doc_count": 1
},
{
"key": "red",
"doc_count": 2
}
]
}
}
点赞 5
————————————————
版权声明：本文为CSDN博主「古古说」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_40341116/article/details/81173016
相关推荐
另外一部分，则需要先做聚类、分类处理，将聚合出的分类结果存入ES集群的聚类索引中。数据处理层的聚合结果存入ES中的指定索引，同时将每个聚合主题相关的数据存入每个document下面的某个field下。