在生产环境使用Kubernetes三年后我学到的东西
我们于2017年开始构建第一个Kubernetes集群1.9.4版本。 我们有两个集群,一个集群在裸机RHEL VM上运行,另一个集群在AWS EC2上运行。
今天,我们的Kubernetes基础架构团队由分布在多个数据中心的400多个虚拟机组成。 该平台托管高度可用的关键任务软件应用程序和系统,以管理具有近四百万个活动设备的大型实时网络。
Kubernetes最终使我们的生活变得更轻松,但是这一旅程是艰难的,是一种范式转变。 不仅我们的技能和工具有了彻底的转变,而且我们的设计和思维也得到了彻底的转变。 我们必须采用多种新技术并进行大量投资,以提高和提高我们的团队和基础架构的技能。
回顾三年来,Kubernetes在生产中运行了三年,这是我们日记中的重要课程。
1. Java应用程序的奇怪案例
在微服务和容器化方面,工程师倾向于避免使用Java,这主要是由于Java臭名昭著的内存管理。 但是,现在情况发生了变化,多年来Java的容器兼容性得到了改善。 毕竟,无所不在的系统(例如Apache Kafka和Elasticsearch)在Java上运行。
回顾2017-18年度,我们有一些应用程序在Java版本8上运行。这些应用程序通常很难理解Docker等容器环境,并因堆内存问题和异常的垃圾收集趋势而崩溃。 我们了解到,这是由于JVM无法使用Linux cgroup和命名空间(它们是容器化技术的核心)造成的。
但是,从那时起,Oracle一直在不断提高Java在容器领域的兼容性。 甚至Java 8的后续补丁都引入了实验性JVM标志来解决这些问题,XX:+ UnlockExperimentalVMOptions和XX:+ UseCGroupMemoryLimitForHeap
但是,尽管有了所有的改进,但无可否认的是,与Python或Go等同行相比,Java在占用内存和启动速度慢方面仍然享有不良声誉。 这主要是由JVM的内存管理和类加载器引起的。
今天,如果我们必须选择Java,请确保它的版本为11或更高。 并且我们的Kubernetes内存限制在JVM最大堆内存(-Xmx)之上设置为1GB,以留有余量。 也就是说,如果JVM使用8GB的堆内存,则我们对该应用程序的Kubernetes资源限制为9GB。 这样,生活会更好。
2. Kubernetes生命周期升级
Kubernetes生命周期管理(例如升级或增强功能)非常繁琐,尤其是如果您已在裸机或VM上构建了自己的集群。 对于升级,我们已经意识到,最简单的方法是使用最新版本构建新集群,并将工作负载从旧版本过渡到新版本。 就地节点升级所做的努力和计划是不值得的。
Kubernetes具有多个移动部件,需要与升级保持一致。 从Docker到Calico或Flannel之类的CNI插件,您都需要仔细地将它们拼凑在一起才能正常工作。 尽管像Kubespray,Kubeone,Kops和Kubeaws这样的项目使它变得更容易,但它们都有缺点。
我们在RHEL VM上使用Kubespray构建了集群。 Kubespray非常棒,它具有用于构建,添加和删除新节点,升级版本的手册,以及我们在生产环境中操作Kubernetes所需的几乎所有内容。 但是,升级手册附带了免责声明,可防止我们跳过次要版本。 因此,必须经过所有中间版本才能达到目标版本。
要点是,如果您打算使用Kubernetes或已经在使用Kubernetes,请考虑生命周期活动以及您的解决方案如何解决这一问题。 构建和运行集群相对容易一些,但是生命周期维护是一个全新的游戏,具有多个活动部分。
3.构建和部署
准备重新设计整个构建和部署管道。 我们的构建过程和部署必须经历Kubernetes世界的完整转型。 不仅在Jenkins管道中进行了大量的重组,而且还使用了诸如Helm之类的新工具,对新的git流和构建进行了策略化,标记了docker映像,并对helm部署chart进行了版本控制。
您不仅需要维护代码,还需要维护Kubernetes部署文件,Docker文件,Docker映像,Helm chart的策略,并设计一种将所有这些链接在一起的方法。
经过几次迭代,我们决定采用以下设计。
· 应用程序代码及其Helm Chart位于单独的git存储库中。 这使我们可以分别对它们进行版本控制。 (语义版本控制)
· 然后,我们将Chart版本的映射与应用程序版本一起保存,并使用它来跟踪发布。 因此,例如,app-1.2.0部署有Charts-1.1.0。 如果仅更改Helm值文件,则仅更改Chart的补丁程序版本。 (例如,从1.1.0到1.1.1)。 所有这些版本均由每个存储库RELEASE.txt中的发行说明规定。
· 我们未构建或修改其代码的Apache Kafka或Redis等系统应用程序的工作方式有所不同。 也就是说,我们没有两个git存储库,因为Docker标签只是Helm chart版本控制的一部分。 如果我们更改了docker标签以进行升级,则会在图表标签中增加主要版本。
4.Liveness和Readiness就绪探针(双刃剑)
Kubernetes的活跃性和就绪性探查是自动解决系统问题的出色功能。 他们可以在发生故障时重新启动容器,并从不正常的实例转移流量。 但是,在某些故障情况下,这些探测可能会变成一把双刃剑,并会影响应用程序的启动和恢复,尤其是有消息的应用程序,例如消息平台或数据库。
我们的Kafka系统就是这个受害者。 我们运行了一个3 Broker 3 Zookeeper状态集,该状态集的ReplicationFactor为3,而minInSyncReplica为2。当Kafka在意外的系统故障或崩溃后启动时,就会发生此问题。 这导致它在启动期间运行其他脚本来修复损坏的索引,根据严重性,此过程可能需要10到30分钟。 由于增加了时间,生动性探针将不断失败,从而向Kafka发出终止信号以重新启动。 这阻止了Kafka修改索引并完全启动。
唯一的解决方案是在实时探针设置中配置initialDelaySeconds,以在容器启动后延迟探针评估。 但是,当然,问题在于很难对此加以说明。 有些恢复甚至需要一个小时,因此我们需要提供足够的空间来解决这一问题。 但是,增加initialDelaySeconds的次数越多,弹性的速度就越慢,因为在启动失败期间Kubernetes需要更长的时间来重新启动容器。
因此,中间的目的是评估initialDelaySeconds字段的值,以使其在您在Kubernetes中寻求的弹性与应用程序在所有故障情况(磁盘故障,网络故障,系统崩溃等)下成功启动所花费的时间之间取得更好的平衡 )
更新:如果您使用的是最新的最新版本,Kubernetes引入了第三种探针类型,称为"启动探针",以解决此问题。 从1.16版开始提供alpha版本,从1.18版开始提供beta版本。
启动探针会禁用就绪性和活动性检查,直到容器启动为止,以确保应用程序的启动不会中断。
5.公开外部IP
我们了解到,使用静态外部IP公开服务会对内核的连接跟踪机制造成巨大损失。 除非进行彻底计划,否则它只会按比例分解。
我们的集群在Kubernetes内的路由协议上运行在Calico for CNI和BGP上,并与边缘路由器对等。 对于Kubeproxy,我们使用IP Tablesmode。 我们在Kubernetes中托管着庞大的服务,该服务通过每天处理数百万个连接的外部IP公开。 由于来自软件定义网络的所有SNAT和伪装,Kubernetes需要一种机制来跟踪所有这些逻辑流。 为此,它使用内核的Conntrack和netfilter工具管理与静态IP的这些外部连接,然后将其转换为内部服务IP,然后转换为您的pod IP。 这全部通过conntrack表和IP表完成。
但是,此conntrack表有其局限性。 一旦达到限制,您的Kubernetes集群(位于下面的OS内核)将不再能够接受新连接。 在RHEL上,您可以通过这种方式进行检查。
$ sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_maxnet.netfilter.nf_conntrack_count = 167012
net.netfilter.nf_conntrack_max = 262144
解决此问题的一些方法是使用边缘路由器对等多个节点,以使到您的静态IP的传入连接遍及整个群集。 因此,如果您的集群中有大量的计算机,则累积起来,您可以拥有一个大的conntrack表来处理大量的传入连接。
早在2017年成立之初,这一切就让我们望而却步,但最近,Calico在2019年对此进行了详细研究,标题为"为什么conntrack不再是您的朋友"。
您绝对需要Kubernetes吗?
三年过去了,我们仍然每天继续发现和学习新知识。 它是一个复杂的平台,具有自己的一系列挑战,尤其是在构建和维护环境方面的开销。 它将改变您的设计,思维,架构,并需要提高技能和扩大团队规模以适应转型。
但是,如果您在云上并且能够将Kubernetes用作"服务",则可以减轻平台维护带来的大部分开销,例如"如何扩展内部网络CIDR?"。 或"如何升级我的Kubernetes版本?"
今天,我们意识到,您需要问自己的第一个问题是"您是否绝对需要Kubernetes?" 这可以帮助您评估您所遇到的问题以及Kubernetes解决该问题的重要性。
Kubernetes转型并不便宜。 您为此支付的价格必须确实证明"您的"用例及其如何利用该平台。 如果可以,那么Kubernetes可以极大地提高您的生产力。