灵雀云刘梦馨：Kubernetes 网络改进的三项实践分享

在5月19日下午的开源与容器技术分论坛上，灵雀云Kubernetes首席专家刘梦馨带来了《Kubernetes 网络更进一步》的主题演讲。

刘梦馨的演讲围绕Kubernetes 网络模型、Kubernetes网络模型问题和网络改进三部分展开。他表示，Kubernetes网络模型在功能、性能和稳定性方面均存在一些问题，灵雀云通过固定IP、IP虚拟服务器(IP Virtual Server，简写为IPVS)和自研Ingress的方式加以改进。

灵雀云Kubernetes首席专家 刘梦馨

自研CNI IPAM插件 解决K8s功能问题

首先，在功能方面，Kubernetes 网络模型由于IP不固定，无法对IP资源进行精细管控，无法使用基于IP的监控和基于IP的安全策略，此外，一些IP发现的服务部署十分困难，给运维人员增加了很大的工作难度。例如由于IP不固定，令很多采用IP固定来做的传统监控和审计机制全部失效。此外，很多软件是对MAC地址进行授权，IP地址不固定无法购买授权，IP固定的需求在一定场景下客观存在。

为了解决这一问题，灵雀云把IP当做重要资源，进行单独管理。灵雀云自研的CNI IPAM 插件，实现了IP导入和IP权限管理功能，可以进行网段的添加和删除，可在Kubernetes进行网段的精细化配置。例如，给某个业务或者某几个用户分配一个网关，先对IP进行网关设置，路由设置以及DNS设置;有了网段之后，进行IP添加或删除，哪些IP可用都可以由管理员指定，经过权限和配额之后顺利创建服务。

IPVS解决K8S大流量下性能线性下降问题

其次，在性能方面，由于Kubernetes最早是基于Iptables来做的，Iptables 没有增量更新功能，更新一条规则需要整体flush，更新时间长，这段时间之内流量会有不同程度的影响;Iptables规则串行，没有预料到Kubernetes这种在一个机器上会有很多规则的情况，流量需要经过所有规则的匹配，匹配之后再进行转发，否则对时间、CPN和内存都是极大的消耗，尤其在大规模情况下对性能的影响十分明显。

刘梦馨介绍指出，Kubernetes升级到1.8或1.9版本以后，安装时可以选择IPVS模式，它是对Iptables的替换，在IPVS模式下添加规则是增量式的，不会强制进行全量更新，也不会进行串行的匹配，会通过一定的规则进行哈希map映射，很快地映射到对应的规则，不会出现大规模情况下性能线性下降的状况。目前，IPVS在Kubernetes社区仍处于试用阶段，刘梦馨表示，灵雀云已经开始试用IPVS功能，从使用情况来看，性能十分稳定，预计很快会将方案推广给用户。

自研OpenResty Ingress 解决K8S稳定性问题

最后，在稳定性方面，Kubernetes网络缺少健康检查功能，NodePort 屏蔽了Pod的直接访问，上层健康检查失效，网络分区、网络问题导致的转发异常时有发生。

灵雀云采用自研的OpenResty Ingress，方便新增功能，可以进行多端口监听。官方的Nginx Ingress只能监听80和43端口，但很多客户要对更多的端口进行监听，如根据端口区分的服务，灵雀云对此进行了一些改动，其自研的Ingress支持多端口功能。另外，原始Ingress的转化功能较少且配置复杂，需要不断更改Nginx config。对于reload，灵雀云用OpenResty实现lua的代码库，在lua的代码里进行流量调度，并设定了特定的DSL流量调度语言，可以通过简单的程序代码实现特定的流量规则，在Ingress流量规则方面进行了丰富扩展。

在演讲的最后，刘梦馨列举了一个用简单程序代码实现特定流量规则的实例：

规则：域名是 www.baidu.com 或者 baidu.com，路径是 /search, 源 IP 为 114.114.114.114，header 中 uid 在 100 到 999 或者 10000 到 11000 之间的请求

(AND (IN HOST www.baidu.com baidu.com) (EQ URL /search) (EQ SRC_IP 114.114.114.114) (OR (RANGE HEADER uid 100 999) (RANGE HEADER uid 10000 11000)))