Kubernetes Ingress 日志分析与监控的最佳实践

godwot

2019-07-01

Ingress 主要提供 HTTP 层（7 层）路由功能，是目前 K8s 中 HTTP/HTTPS 服务的主流暴露方式。为简化广大用户对于 Ingress 日志分析与监控的门槛，阿里云容器服务和日志服务将 Ingress 日志打通，只需要应用一个 yaml 资源即可完成日志采集、分析、可视化等一整套 Ingress 日志方案的部署。

前言

目前 Kubernetes（K8s）已经真正地占领了容器编排市场，是默认的云无关计算抽象，越来越多的企业开始将服务构建在K8s集群上。在 K8s 中，组件通过 Service 对外暴露服务，常见的包括 NodePort、LoadBalancer、Ingress 等。其中 Ingress 主要提供 HTTP 层（7 层）路由功能，相比 TCP（4 层）的负载均衡具备非常多的优势（路由规则更加灵活、支持金丝雀、蓝绿、A/B Test 发布模式、SSL 支持、日志、监控、支持自定义扩展等），是目前 K8s 中 HTTP/HTTPS 服务的主流暴露方式。

Kubernetes Ingress 日志分析与监控的最佳实践

Ingress 简介

K8s 中 Ingress 只是一种 API 资源的声明，具体的实现需要安装对应的 Ingress Controller，由 Ingress Controller 接管 Ingress 定义，将流量转发到对应的 Service。目前 Ingress Controller 的实现有非常多种（具体可以参考 Ingress Controller官方文档），比较流行的有 Nginx、Traefik、Istio、Kong 等，在国内接受度最高的是 Nginx Ingress Controller。

Kubernetes Ingress 日志分析与监控的最佳实践

日志与监控

日志和监控是所有 Ingress Controller 都会提供的基础功能，日志一般包括访问日志（Access Log）、控制日志（Controller Log）和错误日志（Error Log），监控主要从日志以及 Controller 中提取部分 Metric 信息。这些数据中访问日志的量级最大、信息最多、价值也最高，一般7层的访问日志包括：URL、源 IP、UserAgent、状态码、入流量、出流量、响应时间等，对于 Ingress Controller 这种转发型的日志，还包括转发的 Service 名、Service 响应时间等额外信息。从这些信息中，我们能够分析出非常多的信息，例如：

网站访问的 PV、UV；
访问的地域分布、设备端分布；
网站访问的错误比例；
后端服务的响应延迟；
不同 URL 访问分布。

我们的开发、运维、运营、安全等人员可以基于这些信息完成各自的需求，例如：

新老版本发布前后的数据指标对比；
网站质量监控、集群状态监控；
恶意攻击检测、反作弊；
网站访问量统计、广告转化率统计。

Kubernetes Ingress 日志分析与监控的最佳实践

然而手动搭建、运维一整套的 Ingress 日志分析与监控系统非常复杂，系统所需要的模块有：

部署日志采集 Agent 并配置采集、解析规则；
由于 K8s 集群中，访问量相对较大，因此需要搭建一个缓冲队列，例如 Redis、Kafka 等；
部署实时数据分析引擎，例如 Elastic Search、clickhouse 等；
部署可视化组件并搭建报表，例如 grafana、kibana 等；
部署告警模块并配置告警规则，例如 ElastAlert、alertmanager 等。

阿里云日志服务Ingress解决方案

为简化广大用户对于 Ingress 日志分析与监控的门槛，阿里云容器服务和日志服务将 Ingress 日志打通（官方文档 https://help.aliyun.com/document_detail/86532.html[](https://help.aliyun.com/document_detail/86532.html))），只需要应用一个 yaml 资源即可完成日志采集、分析、可视化等一整套 Ingress 日志方案的部署。

Kubernetes Ingress 日志分析与监控的最佳实践

Ingress 可视化分析

日志服务默认为 Ingress 创建 5 个报表，分别是：Ingress 概览、Ingress 访问中心、Ingress 监控中心、Ingress 蓝绿发布监控中心、Ingress 异常检测中心。不同角色的人员可根据需求使用不同的报表，同时每个报表均提供筛选框用于筛选特定的 Service、URL、状态码等。所有的报表均基于日志服务提供的基础可视化组件实现，可根据公司实际场景进行定制化调整。

Ingress 概览

Ingress 概览报表主要展示当前 Ingress 的整体状态，主要包括以下几类信息：

整体架构状态（1 天），包括：PV、UV、流量、响应延迟、移动端占比、错误比例等；
网站实时状态（1 分钟），包括：PV、UV、成功率、5XX 比例、平均延迟、P95/P99 延迟等；
用户请求类信息（1 天），包括：1天/7天访问PV对比、访问地域分布、TOP访问省份/城市、移动端占比、Android/IOS 占比等；
TOPURL 统计（1 小时），包括：访问 TOP10、延迟 TOP10、5XX 错误 TOP10、404 错误 TOP10。

Kubernetes Ingress 日志分析与监控的最佳实践

Ingress 访问中心

Ingress 访问中心主要侧重于用于访问请求相关的统计信息，一般用于运营分析，包括：当日 UV/PV、UV/PV 分布、UV/PV 趋势、TOP 访问省份/城市、TOP 访问浏览器、TOP 访问IP、移动端占比、Android/IOS 占比等。

Kubernetes Ingress 日志分析与监控的最佳实践

Ingress 监控中心

Ingress 监控中心主要侧重于网站实时监控数据，一般用于实时监控与告警，包括：请求成功率、错误比例、5XX 比例、请求未转发比例、平均延迟、P95/P99/P9999 延迟、状态码分布、Ingress 压力分布、Service 访问 TOP10、Service 错误 TOP10、Service 延迟 TOP10、Service 流量 TOP10 等。

Kubernetes Ingress 日志分析与监控的最佳实践

Ingress 蓝绿发布监控中心

Ingress 蓝绿发布监控中心主要用于版本发布时的实时监控与对比（版本前后对比以及蓝绿版本当前对比），以便在服务发布时快速检测异常并进行回滚。在该报表中需要选择进行对比的蓝绿版本（ServiceA 和 ServiceB），报表将根据选择动态显示蓝绿版本相关指标，包括：PV、5XX 比例、成功率、平均延迟、P95/P99/P9999 延迟、流量等。