分布式健值存储etcd 3.1.7

资源

• https://skyao.gitbooks.io/lea... 手册
• https://github.com/coreos/etc... 官方文档及源码
• https://coreos.com/etcd/docs/... 官方文档

特性

• 键值对存储引擎，协议消息使用protobuf
• 最新版本3.1.5
• 3.x 版本和 2.x版本 不兼容 3.x是2.x性能的2倍以上，3.x使用gRPC代替了2.x的JSON；etcd3中的租约替代了etc2的TTL；etcd3的事务原子性并发
• 用于分布式网络、服务发现、配置管理、任务调度和负载均衡
• 单实例可达每秒 1000 次写操作
• 一个三成员 etcd 集群在轻负载下可以在低于1毫秒内完成一个请求，并在重负载下可以每秒完成超过 30000 个请求。
• 支持 SSL 客户端证书认证加密请求
• v2和v3 的API使用不同的存储引擎，两个版本的操作的都是自己的数据 。所以要用v3的api
• 默认存储大小为2GB数据、配置启动参数 --quota-backend-bytes 可以最高到8GB。默认每次请求保存的key最大为1MB。
• ETCD V3不再使用目录结构，只保留键。例如：”/a/b/c/“是一个键，而不是目录。V3中提供了前缀查询，来获取符合前缀条件的所有键值，这变向实现了V2中查询一个目录下所有子目录和节点的功能。
• 简洁的响应：像DELETE这类操作成功后将不再返回操作前的值。如果希望获得删除前的值，可以使用事务，来实现一个原子操作，先获取键值，然后再删除。
• 租约：租约代替了V2中的TTL实现，TTL绑定到一个租约上，键再附加到这个租约上。当TTL过期时，租约将被销毁，同时附加到这个租约上的键也被删除。

概念

• 初始化的问题 如果集群第一次初始化启动的时候，有一台节点未启动，通过v3的接口访问的时候，会报告Error: Etcdserver: not capable 错误。这是为兼容性考虑，集群启动时默认的API版本是2.3，只有当集群中的所有节点都加入了，确认所有节点都支持v3接口时，才提升集群版本到v3。这个只有第一次初始化集群的时候会遇到，如果集群已经初始化完毕，再挂掉节点，或者集群关闭重启（关闭重启的时候会从持久化数据中加载集群API版本），都不会有影响
• grpc-gateway网关 etcd v3使用gRPC作为其消息协议。此网关提供RESTful代理，将HTTP / JSON请求转换为gRPC消息。

安装

mkdir -p /opt/etcd-v3.1.7
  curl -sSL http://aliacs-k8s.oss-cn-hangzhou.aliyuncs.com/common/etcd-v3.1.7-linux-amd64.tar.gz| tar xz --strip-components=1 -C /opt/etcd-v3.1.7
  ln -sf /opt/etcd-v3.1.7/etcd /usr/bin/etcd
  ln -sf /opt/etcd-v3.1.7/etcdctl /usr/bin/etcdctl
  etcd --version

mkdir -p /var/lib/etcd;mkdir -p /etc/etcd; groupadd -r etcd; useradd -r -g etcd -d /var/lib/etcd -s /sbin/nologin -c "etcd user" etcd;chown -R etcd:etcd /var/lib/etcd
  
  cat << EOT > /lib/systemd/system/etcd.service
[Unit]
Description=etcd service
After=network.target

[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
User=etcd
ExecStart=/usr/bin/etcd --data-dir=data.etcd --name dudu_etcd_245 \
  --initial-advertise-peer-urls http://10.99.73.245:2380 --listen-peer-urls http://10.99.73.245:2380 \ 
  --advertise-client-urls http://10.99.73.245:2379 --listen-client-urls http://10.99.73.245:2379 \
  --initial-cluster dudu_etcd_245=http://10.99.73.245:2380,dudu_etcd_246=http://10.99.73.246:2380 \ 
  --initial-cluster-state new --initial-cluster-token etcd-cluster-dudu-docker
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOT
  
  systemctl daemon-reload
  systemctl enable etcd
  systemctl start etcd
  systemctl status -l etcd.service
  
  检查集群健康
  ETCDCTL_API=3 etcdctl endpoint health --endpoints=10.31.75.198:2379,10.29.164.118:2379

常用操作命令

• etcdctl 命令文件是客户端操作入口 ；使用前设置环境变量 ETCDCTL_API=3 使用3版本的api默认是2版本的
• export ETCDCTL_API=3

配置

• 启动参数：

  • --listen-client-urls ：监听客户端通讯的URL列表可以是 0.0.0.0:2379 任何来源 127.0.0.1:2379 本机 以及指定IP
  • --listen-peer-urls : 用于监听伙伴通讯的URL列表 0.0.0.0:2380 任何来源 127.0.0.1:2380 本机 以及指定IP
  • --data-dir: 日志快照文件保存目录
  • --name： 成员名 必须唯一
  • --initial-advertise-peer-urls：集群。列出这个成员的伙伴 URL 以便通告给集群的其他成员，集群可访问的本机地址
  • --advertise-client-urls：集群。列出这个成员的客户端URL，通告给集群中的其他成员。
  • --initial-cluster-token： 集群唯一名
  • --initial-cluster： 集群成员列表；etcd_node_1=http://10.29.167.233:2380,etcd_node_2=http://10.29.168.24:2380
  • --initial-cluster-state：集群状态，值为 new or existing，new创建静态或DNS集群，existing 加入现有集群
  • --auto-compaction-retention：自动压缩用于 mvcc 键值存储的保持力(注：应该指多版本保存)，单位小时。 0 表示关闭自动压缩默认为0关闭 对于服务注册等只保存运行时动态信息的场合，建议开启。完全没有理由损失存储空间和效率来保存之前的版本信息。推荐设置为1,每小时压缩一次。
• 集群启动

• 容器集群启动

  #编辑Dockerfile文件
  #Version:1.0                                                        
  FROM alpine:3.5
  MAINTAINER kingcarrot [email protected]
  #更新日期
  ENV REFRESHED_AT 2017-04-13
  
  #环境变量 启动容器命令-e参数修改环境变量
  #添加目录
  #ADD /home/ngrok/data/ /home/data/
  
  WORKDIR /bin
  #USER root
  RUN  apk add --update ca-certificates openssl  tzdata && \
          cp -r -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \
          echo "Asia/Shanghai" >  /etc/timezone && \
          apk del --purge  openssl && \
          rm -Rf /var/cache/apk/*
  #添加文件
  COPY  etcd* etcdctl*  /bin/
  
  #挂载目录
  VOLUME  /data
  #开放端口
  EXPOSE 2379 2380
  
  #启动命令
  ENTRYPOINT  ["/bin/etcd","--data-dir=/data"]
  
  #构建镜像
  docker build -t dudu_etcd:v2 .
  #运行容器  第一个运行的节点就是master主机 
  docker run -d -p 2379:2379 -p 2380:2380 --restart=always -v /home/etcd_data:/data --name dudu_etcd_0 dudureg.xip.io:5000/dudu_etcd:v3.0.17 --name etcd_node_0 \
  --initial-advertise-peer-urls http://10.29.167.233:2380 --listen-peer-urls http://0.0.0.0:2380  \
  --advertise-client-urls http://10.29.167.233:2379 --listen-client-urls http://0.0.0.0:2379 \
  --initial-cluster-state new --initial-cluster-token kubernetes_etcd_token_test --auto-compaction-retention=0 \
  --initial-cluster etcd_node_0=http://10.29.167.233:2380,etcd_node_1=http://10.29.167.233:2381,etcd_node_2=http://10.29.167.233:2382
  
  docker run -d -p 2378:2379 -p 2381:2380 --restart=always -v /home/etcd_data_1:/data --name dudu_etcd_1 dudureg.xip.io:5000/dudu_etcd:v3.0.17 --name etcd_node_1 \
  --initial-advertise-peer-urls http://10.29.167.233:2381 --listen-peer-urls http://0.0.0.0:2380  \
  --advertise-client-urls http://10.29.167.233:2378 --listen-client-urls http://0.0.0.0:2379 \
  --initial-cluster-state new --initial-cluster-token kubernetes_etcd_token_test --auto-compaction-retention=0  \
  --initial-cluster etcd_node_0=http://10.29.167.233:2380,etcd_node_1=http://10.29.167.233:2381,etcd_node_2=http://10.29.167.233:2382
  
  docker run -d -p 2377:2379 -p 2382:2380 --restart=always -v /home/etcd_data_2:/data --name dudu_etcd_2 dudureg.xip.io:5000/dudu_etcd:v3.0.17 --name etcd_node_2 \
  --initial-advertise-peer-urls http://10.29.167.233:2382 --listen-peer-urls http://0.0.0.0:2380  \
  --advertise-client-urls http://10.29.167.233:2377 --listen-client-urls http://0.0.0.0:2379 \
  --initial-cluster-state new --initial-cluster-token kubernetes_etcd_token_test --auto-compaction-retention=0 \
  --initial-cluster etcd_node_0=http://10.29.167.233:2380,etcd_node_1=http://10.29.167.233:2381,etcd_node_2=http://10.29.167.233:2382
  
  #容器中 --listen-peer-urls http://0.0.0.0:2380 --listen-client-urls http://0.0.0.0:2379 配置 才能被容器外访问，但相当于完全开放出去了，访问宿主服务器ip 同样能访问到etcd；
  #配置为127.0.0.1 容器外部却无法访问；配置为宿主IP则无法启动etcd;可以配置阿里云的服务器安全组拒绝外网对2379和2380的端口访问
  # --initial-cluster 集群多成员时，必须全部启动才能访问，否则只配置本机为成员就可以单机访问
  
  
  #查看日志 
  docker logs -f -t --tail=100 dudu_etcd_1
  docker exec -ti dudu_etcd_1 ash 
  export ETCDCTL_API=3 | /bin/etcdctl version

• 安装图形化监控报警工具 Prometheus

• https://prometheus.io/docs/in... 官网

  PROMETHEUS_VERSION="1.3.1"
  wget https://github.com/prometheus/prometheus/releases/download/v$PROMETHEUS_VERSION/prometheus-$PROMETHEUS_VERSION.linux-amd64.tar.gz -O /tmp/prometheus-$PROMETHEUS_VERSION.linux-amd64.tar.gz
  tar -xvzf /tmp/prometheus-$PROMETHEUS_VERSION.linux-amd64.tar.gz --directory /tmp/ --strip-components=1
  /tmp/prometheus -version
  
  #配置监控的集群
  cat > /tmp/test-etcd.yaml <<EOF
    global:
      scrape_interval: 10s
    scrape_configs:
      - job_name: test-etcd
        static_configs:

EOF
cat /tmp/test-etcd.yaml

#启动成后台进程 每10秒收集一次数据
nohup /tmp/prometheus \

-config.file /tmp/test-etcd.yaml \
-web.listen-address ":9090" \
-storage.local.path "test-etcd.data" >> /tmp/test-etcd.log  2>&1 &

#Grafana 内置了Prometheus的支持
只需要添加一个数据源
Name: test-etcd
Type: Prometheus
Url: http://localhost:9090
Access: proxy

## 功能

### REST API 请求 都是v2版本的api
* curl http://localhost:2379/version
* curl http://localhost:2379/metrics  监控
* curl http://localhost:2379/health   节点健康存活
* curl http://localhost:2379/v2/stats/leader  查看领导主机状态
* curl http://localhost:2379/v2/stats/self   查看当前节点自身状态
* curl http://localhost:2379/v2/stats/store   存储状态
* curl http://localhost:2379/v2/members  成员列表
* curl http://localhost:2379/v2/members -XPOST -H "Content-Type: application/json" -d '{"peerURLs":["http://10.0.0.10:2380"]}' 添加成员
* curl http://localhost:2379/v2/members/272e204152 -XDELETE 删除成员
* curl http://localhost:2379/v2/members/272e204152 -XPUT -H "Content-Type: application/json" -d '{"peerURLs":["http://10.0.0.10:2380"]}' 更改
* curl http://localhost:2379/v2/keys/message -XPUT -d value="Hello world" 添加健值message=Hello world
* curl http://localhost:2379/v2/keys/message  获取健值
* curl http://localhost:2379/v2/keys/message -XPUT -d value="Hello etcd" 更改健值
* curl http://localhost:2379/v2/keys/message -XDELETE 删除健值
* curl http://localhost:2379/v2/keys/foo -XPUT -d value=bar -d ttl=5  设置健值生存期
* curl http://localhost:2379/v2/keys/foo?wait=true  持久监视健值变化
* curl http://localhost:2379/v2/keys/dir -XPUT -d dir=true  创建一个目录 v3版本没有目录概念
* curl http://localhost:2379/v2/keys/  列出目录
* curl http://localhost:2379/v2/keys/foo_dir?dir=true -XDELETE 清空目录
* curl http://localhost:2379/v2/keys/dir?recursive=true -XDELETE 删除目录

### v3版本的API
* 注意：key和value 的值必须是base64编码之后的字符串 无需传参的数据还是必须是空json的body体 和必须是POST请求类型
* https://coreos.com/etcd/docs/3.1.5/dev-guide/apispec/swagger/rpc.swagger.json  所有的接口定义
* https://coreos.com/etcd/docs/3.1.5/dev-guide/api_reference_v3.html#service-cluster-etcdserveretcdserverpbrpcproto 接口文档
* https://github.com/coreos/etcd/blob/8fdfac2843f68144d4cc0d74713a036316b1fd45/etcdserver/etcdserverpb/rpc.proto  源代码查看接口
* curl -L http://localhost:2379/v3alpha/kv/put     -X POST -d '{"key": "Zm9v", "value": "YmFy"}'  设置值
* curl -L http://localhost:2379/v3alpha/kv/range -X POST -d '{"key": "Zm9v"}'  查看指定范围的健值
* curl -L http://localhost:2379/v3alpha/watch  -X POST -d '{"create_request": {"key":"Zm9v"} }' &  监视健值的变化
* curl -L http://localhost:2379/v3alpha/cluster/member/list -X POST -d '{}'  查看成员列表
* curl -L http://localhost:2379/v3alpha/kv/deleterange -X POST -d '{"key": "Zm9v"}' 删除指定范围的数据

### etcdctl 命令请求
* docker exec -ti dudu_etcd_0 ash 
* export ETCDCTL_API=3 使用命令之前确定使用的API版本默认是2
* etcdctl version  版本
* etcdctl 命令 --endpoints=10.30.187.25:2379 加上请求地址参数
* etcdctl member list --endpoints=10.30.187.25:2379 集群成员；列出成员ID，集群的peerURLs参数和集群的clientURLs参数
* etcdctl cluster-health 集群健康
* etcdctl member update a8266ecf031671f3 http://10.0.1.10:2380  更新节点peerURLs
* etcdctl member remove a8266ecf031671f3 删除节点 
* etcdctl member add etcd_node_3 http://10.0.1.13:2380  新增节点
* etcdctl put keys "{aa:1, bb: 2}" --endpoints=10.30.187.25:2379  保存键值
* etcdctl get keys  获取键值
* etcdctl get --endpoints=10.30.187.25:2379 --prefix=true ""  获取所有值
* etcdctl get --prefix=true "/kubernetes" 获取指定前缀的所有健值
* etcdctl del keys  删除健值
* etcdctl del --endpoints=10.30.187.25:2379 --prefix=true "/kubernetes"  删除指定前缀的所有健值返回删除数量
* etcdctl watch keys  监视健值
* etcdctl compaction 压缩历史数据  etcd支持历史数据的读取，为了避免积累无限历史数据。compacting操作后，etcd将删除历史的版本数据，释放资源为后面使用。在compacted 版本前的数据都将无效。
* etcdctl defrag    对指定成员碎片整理
* etcdctl snapshot save  backup.db 保存快照
* etcdctl snapshot status backup.db 快照状态
* etcdctl snapshot restore  backup.db 从指定文件恢复快照
* etcdctl --endpoints=127.0.0.1:2379 endpoint status  查看状态

## 维护
* https://coreos.com/etcd/docs/3.1.5/upgrades/upgrade_3_1.html  3.0升级到3.1 零停机，滚动升级
* 升级集群主机，建议一次升级一个成员，停止master是可以的，但会有短暂的选举停顿
* 要替换健康的单个成员，请添加一个新成员，然后删除旧成员
* 维持在三个成员配置集群
* etcdctl --write-out=table endpoint status  节点状态查看
* etcdctl alarm list    查看警告列表

## 调试

## 优化
* 容器时区配置问题：

ls -l /etc/localtime 主机上查看本地时区

yaml文件中将本地时区文件加载到pod容器中/etc/localtime
volumeMounts:

- name: tz-config
    mountPath: /etc/localtime
volumes:
  - name: tz-config
    hostPath:
       path: /usr/share/zoneinfo/Asia/Shanghai

单容器配置指定时区
docker run -it --rm -e "TZ=Asia/Shanghai" centos:7 date +%Z

## 常见问题