京东云Kubernetes集群最佳实践
京东云Kubernetes集群最佳实践
容器是Cloud Native的基石,它们之间的关系不言而喻。了解容器对于学习Cloud Native也是十分重要的。近期,京东云Cloud Native的“在线公开课”从理论和实践两个层面为大家分享了Cloud Native相关的技术知识。在本周的周日,我们还将迎来”Cloud Native时代的应用之路与开源创新“专场技术沙龙。
因此我们今天的文章将会和大家分享关于京东云Kubernetes集群的部分最佳实践。感兴趣的小伙伴也可以跟着文档自己动手进行创建。
京东云Kubernetes集群采用管理节点全托管的方式,为用户提供简单易用、高可靠、功能强大的容器管理服务。该产品完全兼容标准Kubernetes API ,集成京东云网络、存储等插件。Kubernetes集群服务简化了Kubernetes部署、管理,降低了Kubernetes使用门槛,增强应用的可靠性,提升开发的效率,同时,也能更好地帮助用户减少资源投入的成本。
最佳实践——部署应用
部署持久化存储
京东云Kubernetes集群服务集成了京东云云硬盘,您可以在集群中使用京东云云硬盘作为持久化存储;
使用京东云云盘定义静态存储
1. 创建PV
kind: PersistentVolume apiVersion: v1 metadata: name: pv-static labels: type: jdcloud-ebs spec: capacity: storage: 30Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain jdcloudElasticBlockStore: volumeID: vol-ogcbkdjg7x fsType: xfs
参数说明:
1、如您需要在京东云Kubernetes集群服务中使用京东云云硬盘作为持久化存储,请在PersistentVolume定义时,指定插件jdcloudElasticBlockStore;
2、VolumeID:指定同地域下为Kubernetes集群服务提供持久化存储的云硬盘ID;
3、Fstype:指定文件系统类型;目前仅支持ext4和xfs两种;
4、Capacity:PV 将具有特定的存储容量。这是使用 PV 的容量属性设置的;
5、PersistentVolume 可以以资源提供者支持的任何方式挂载到主机上。
京东云云硬盘目前只支持一种模式ReadWriteOnce——该卷可以被单个节点以读/写模式挂载;
访问模式包括:
ReadWriteOnce——该卷可以被单个节点以读/写模式挂载
在命令行中,访问模式缩写为:
RWO - ReadWriteOnce
京东云为PersistentVolume提供了插件,插件类型为:jdcloudElasticBlockStore
注:
- 由于云硬盘限制一个云硬盘只能同时挂载一个云主机,在使用基于PVC的Pod时,建议使用replicas=1来创建一个部署集。StatefulSet可解决多副本问题。
- Pod迁移,PVC迁移(卸载旧实例/挂载新实例)默认35秒。
- 通过Deployment部署,删除Deployment之后,可重新挂载原有PVC到新的Pod里面。
2. 创建PVC
声明可以指定一个标签选择器来进一步过滤该组卷。只有标签与选择器匹配的卷可以绑定到声明。选择器由两个字段组成:
所有来自 MatchLabels 和 MatchExpressions 的要求都被“与”在一起——它们必须全部满足才能匹配。
本例使用MatchLabels作为过滤条件,将匹配的PersistentVolume绑定到Persistent Volume Claim。
MatchLabels:Volume 必须有具有该值的标签
matchExpressions:这是一个要求列表,通过指定关键字,值列表以及与关键字和值相关的运算符组成。有效的运算符包括 In、NotIn、Exists 和 DoesNotExist。
访问模式包括:ReadWriteOnce——该卷可以被单个节点以读/写模式挂载。
在命令行中,访问模式缩写为:RWO - ReadWriteOnce
京东云为Persistent Volume提供了插件,插件类型为:jdcloudElasticBlockStore
注:副本数只能指定1。
apiVersion: v1 kind: PersistentVolumeClaim metadata: name: pv-static-pvc spec: accessModes: - ReadWriteOnce storageClassName: "" resources: requests: storage: 30Gi selector: matchLabels: type: jdcloud-ebs
创建Pod
kind: Pod
apiVersion: v1 metadata: name: pod-static spec: volumes: - name: pv-static persistentVolumeClaim: claimName: pv-static-pvc
containers: - name: busybox-static image: busybox command: - sleep - "600" imagePullPolicy: Always volumeMounts: - mountPath: "/usr/share/mybusybox/" name: pv-static
使用京东云云盘定义动态存储
当集群中的静态 PV 都不匹配新建的 Persistent Volume Claim 时,集群可能会尝试动态地为 PVC 创建卷。
关于京东云云硬盘规格:
创建PVC
apiVersion: v1 kind: PersistentVolumeClaim metadata: name: pvc1 spec: accessModes: - ReadWriteOnce storageClassName: jdcloud-ssd resources: requests: storage: 20Gi
查看集群的PVC
kubectl get pvc
输出
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE pvc1 Bound pvc-73d8538b-ebd6-11e8-a857-fa163eeab14b 20Gi RWO jdcloud-ssd 18s
查看集群的PV
kubectl get pv
输出
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
pvc-73d8538b-ebd6-11e8-a857-fa163eeab14b 20Gi RWO Delete Bound default/pvc1 jdcloud-ssd 2m
基于Storage Class jdcloud-ssd,为PVC创建了卷。一旦 PV 和 PVC 绑定后,Persistent Volume Claim 绑定是排他性的,不管它们是如何绑定的。 PVC 跟 PV 绑定是一对一的映射。
2 部署Service
Kubernetes Service
- Kubernetes Service定义了这样一种抽象:一个 Pod 的逻辑分组,一种可以访问它们的策略-通常称为微服务。这一组 Pod 能够被 Service 访问到,通常是通过 Label Selector(查看下面了解,为什么可能需要没有 Selector 的 Service)实现的。一个 Service 在 Kubernetes 中是一个REST对象,和Pod类似.像所有的 REST 对象一样, Service 定义可以基于 POST 方式,请求 API Server 创建新的实例。
京东云Kubernetes集成负载均衡服务,支持创建Load Balance类型的Service,为应用提供安全、可靠的网络。
- 创建的负载均衡会占用本地域的负载均衡配额,需要保证有足够配额。
1、创建支持Load Balance类型的Service,命名为myservice.yaml文件定义如下:
kind: Service apiVersion: v1 metadata: name: servicetest labels: run: myapp spec: ports: - protocol: TCP port: 80 targetPort: 80 nodePort: 30062 type: LoadBalancer selector: run: myapp
2、执行Kubectl创建命令,创建一个Service;其中使用相应的YAML文件名称替换:
kubectl create -f myservice.yaml
3、创建一组Nginx Pod,mynginx.yaml文件定义如下:
apiVersion: apps/v1beta1 kind: Deployment metadata: name: my-nginx spec: selector: matchLabels: run: myapp replicas: 2 template: metadata: labels: run: myapp spec: containers: - name: my-nginx image: nginx ports: - containerPort: 80
4、执行Kubectl创建命令,创建一个Deployment;其中使用相应的YAML文件名称替换
kubectl create -f mynginx.yaml
5、查看已创建成功的Deployment,执行以下命令:
kubectl get pods -l run=myapp -o wide
返回结果如下:
NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE my-nginx 2 2 2 2 4m
6、查看相应的Pod运行状态,
kubectl get pods -l run=myapp -o wide
返回结果如下:
NAME READY STATUS RESTARTS AGE IP NODE my-nginx-864b5bfdc7-6297s 1/1 Running 0 23m 172.16.0.10 k8s-node-vmtwjb-0vy9nuo0ym my-nginx-864b5bfdc7-lr7gq 1/1 Running 0 23m 172.16.0.42 k8s-node-vm25q1-0vy9nuo0ym
7、查看Service详情:
kubectl describe service servicetest
可以查看绑定到Service的Endpoints:
Name: servicetest Namespace: default Labels: run=myapp Annotations: <none> Selector: run=myapp Type: LoadBalancer IP: 172.16.61.58 LoadBalancer Ingress: 114.67.227.25 Port: <unset> 80/TCP TargetPort: 80/TCP NodePort: <unset> 30062/TCP Endpoints: 172.16.0.10:80,172.16.0.42:80 Session Affinity: None External Traffic Policy: Cluster Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal EnsuringLoadBalancer 11m (x9 over 26m) service-controller Ensuring load balancer Normal EnsuredLoadBalancer 10m service-controller Ensured load balancer
注:Load Balancer Ingress:114.67.227.25为外部公网IP
8、执行如下命令查询绑定到service的enpoints列表:
kubectl get ep servicetest 返回 NAME ENDPOINTS AGE servicetest 172.16.0.10:80,172.16.0.42:80 28m
9、在浏览器中输入与Service关联的Load Balance公网IP及端口,看到如下页面,即表明Nginx服务正常。
·END·