es快照备份到minio
一、前提条件
下载并安装好minio、es环境
其中es版本为7版本以上
二、安装、配置
1、安装es需要的插件(需要重启服务)
/usr/share/elasticsearch/bin/elasticsearch-plugin install repository-s3
2、配饰访问minio的账号信息
/usr/share/elasticsearch/bin/elasticsearch-keystore add s3.client.default.access_key
用户
/usr/share/elasticsearch/bin/elasticsearch-keystore add s3.client.default.secret_key
密码
3、创建备份仓库
PUT _snapshot/my_backup
{
"type":"s3",
"settings":{
"bucket":"mybucket",
"protocol":"http",
"disable_chunked_encoding":"true",
"endpoint":"172.20.100.120:9000"
}
}
###########
"protocol":"http", "disable_chunked_encoding":"true", ##使用http方式
4、备份所有索引
PUT _snapshot/my_backup/test1?wait_for_completion=true
5、查看所有备份
GET _snapshot/my_backup/_all?pretty
6、删除快照
DELETE _snapshot/my_backup/snapshot_2
用 API 删除快照很重要,而不能用其他机制(比如手动删除,或者用 S3 上的自动清除工具)。因为快照是增量的,有可能很多快照依赖于过去的段。delete API 知道哪些数据还在被更多近期快照使用,然后会只删除不再被使用的段。
但是,如果你做了一次人工文件删除,你将会面临备份严重损坏的风险,因为你在删除的是可能还在使用中的数据。
相关推荐
另外一部分,则需要先做聚类、分类处理,将聚合出的分类结果存入ES集群的聚类索引中。数据处理层的聚合结果存入ES中的指定索引,同时将每个聚合主题相关的数据存入每个document下面的某个field下。