安科网

Docker 容器监控系统初探

projectharbor

projectharbor

2019-06-27

关注 关注

本文已获得原作者__七把刀__授权。

随着线上服务的全面 docker 化，对 docker 容器的监控就很重要了。SA 的监控系统是物理机的监控，在一个物理机跑多个容器的情况下，我们是没法从一个监控图表里面区分各个容器的资源占用情况的。为了更好的监控容器运行情况，更重要的是为了后续的容器动态调度算法需要的大量运行时数据的搜集，经过调研后，基于 CAdvisor + InfluxDB + Grafana 搭建了这套容器监控系统。

1 容器监控方案选择

在调研容器监控系统的时候，其实是有很多选择的，比如 docker 自带的 docker stats 命令，
Scout，Data Dog，Sysdig Cloud,
Sensu Monitoring Framework，CAdvisor 等。

通过 docker stats 命令可以很方便的看到当前宿主机上所有容器的 CPU，内存以及网络流量等数据。但是 docker stats 命令的缺点就是统计的只是当前宿主机的所有容器，而获取的监控数据是实时的，没有地方存储，也没有报警功能。

➜  ssj docker stats
CONTAINER           CPU %               MEM USAGE / LIMIT       MEM %               NET I/O             BLOCK I/O           PIDS
f216e9be15bf        0.06%               76.27 MiB / 992.6 MiB   7.68%               5.94 kB / 2.13 kB   16.2 MB / 0 B       7
ead53a6166f0        0.00%               8.703 MiB / 992.6 MiB   0.88%               578 B / 578 B       7.01 MB / 0 B       2

而Scout、Sysdig Cloud ，Data Dog虽然都提供了较完善的服务，但是它们都是托管的服务而且都收费，于是也不在考虑范围之内。Sensu Monitoring Framework集成度较高，也免费，但是部署过于复杂。最后，我们选择了 CAdvisor 做容器监控工具。

CAdvisor谷歌出品，优点是开源产品，监控指标齐全，部署方便，而且有官方的 docker 镜像。缺点是集成度不高，默认只在本地保存2分钟数据。不过在调研之后发现可以加上 InfluxDB 存储数据，对接 Grafana 展示图表，比较便利地搭建好了容器监控系统，数据收集和图表展示效果良好，对系统性能也几乎没有什么影响。

2 容器资源监控-CAdvisor

2.1 部署与运行

CAdvisor是一个容器资源监控工具，包括容器的内存，CPU，网络IO，磁盘IO等监控，同时提供了一个WEB页面用于查看容器的实时运行状态。CAdvisor默认存储2分钟的数据，而且只是针对单物理机。不过，CAdvisor提供了很多数据集成接口，支持InfluxDB，Redis，Kafka，Elasticsearch等集成，可以加上对应配置将监控数据发往这些数据库存储起来。

由于CAdvisor已经容器化，部署和运行很简单，执行如下命令即可:

docker run \
  --volume=/:/rootfs:ro \
  --volume=/var/run:/var/run:rw \
  --volume=/sys:/sys:ro \
  --volume=/var/lib/docker/:/var/lib/docker:ro \
  --volume=/dev/disk/:/dev/disk:ro \
  --publish=8080:8080 \
  --detach=true \
  --name=cadvisor \
  google/cadvisor:latest

运行之后，就可以在浏览器打开http://ip:8080查看宿主机的容器监控数据了。

2.2 集成 InfluxDB

如前面说到，CAdvisor 默认只在本机保存最近2分钟的数据，为了持久化存储数据和统一收集展示监控数据，需要将数据存储到 InfluxDB中。InfluxDB 是一个时序数据库，专门用于存储时序相关数据，很适合存储 CAdvisor 的数据。而且，CAdvisor 本身已经提供了 InfluxDB 的集成方法，在启动容器时指定配置即可。我们使用了管理容器来管理 CAdvisor，修改后的启动配置如下。主要指定了存储引擎为 InfluxDB，以及指定 InfluxDB 的 HTTP API 的地址(这里用到了自建 DNS 的域名 influxdb.service.consul 以避免暴露外部端口)，还有对应的数据库和用户名密码。

{
    "binds": [
          "/:/rootfs:ro",
          "/var/run:/var/run:rw",
          "/sys:/sys:ro",
          "/home/docker/var/lib/docker/:/var/lib/docker:ro"
    ],
    "image": "forum-cadvisor",
    "labels": {
        "type": "cadvisor"
    },
    "command": " -docker_only=true -storage_driver=influxdb  -storage_driver_db=cadvisor  -storage_driver_host=influxdb.service.consul:8086  -storage_driver_user=testuser  -storage_driver_password=testpwd",
    "tag": "latest",
    "hostname": "cadvisor-{{lan_ip}}"
}

注意到我们使用了一个自己的 forum-cadvisor 镜像来代替官方的 CAdvisor 镜像，这是为了修复 cadvisor 一些问题以及基于管理方便性的考虑。

2.3 CAdvisor 存在的问题

1）运行报错问题

运行最新的 CAdvisor 容器的时候，发现容器有如下的错误日志：

E0910 02:20:53.990423       1 fsHandler.go:121] failed to collect filesystem stats - rootDiskErr: <nil>, rootInodeErr: cmd [find /rootfs/home/docker/var/lib/docker/aufs/diff/2575b6816f03eee84c8915442129243fc03e0f5ce35c48dc42eb20a230384069 -xdev -printf .] failed. stderr: find: unrecognized: -printf

这个问题是因为没有安装 findutils 工具导致的。

2）统计不到容器内存数据

Debian默认没有开启 CGroup Memory 的支持，CAdvisor 默认情况下无法统计到容器内存数据，需要修改 GRUB 启动参数，修改文件/etc/default/grub，加入下面这行：

GRUB_CMDLINE_LINUX=" cgroup_enable=memory"

然后更新 grub2重启即可。

# sudo update-grub2 && reboot

3）网络流量监控数据错误问题

在 CAdvisor 上线一段时间后，顺安发现容器的网络数据跟实际情况不符，并查找资料后发现问题是因为 CAdvisor 默认只统计第一个网卡的流量，而在我们的容器中是有多个 overlay 网络的，需要统计容器中所有的网卡流量。于是我修改了 CAdvisor 统计网络流量部分的代码并重新编译了一个版本在线上使用，修改的代码在这里。

最后，我们自定义的镜像文件 forum-cadvisor.Dockerfile 是这样的(src/cadvisor 是修改后重新编译的 cadvisor 可执行文件)：

FROM google/cadvisor:latest
RUN apk add --update findutils && rm -rf /var/cache/apk/*
COPY src/cadvisor /usr/bin/cadvisor

2.4 CAdvisor 原理简介

CAdvisor 运行时挂载了宿主机根目录，docker 根目录等多个目录，由此可以从中读取容器的运行时信息。docker 基础技术有 Linux namespace，Control Group(CGroup)，AUFS 等，其中 CGroup 用于系统资源限制和优先级控制的。

宿主机的/sys/fs/cgroup/目录下面存储的就是 CGroup 的内容了，CGroup 包括多个子系统，如对块设备的 blkio，cpu，内存，网络 IO等限制。Docker 在 CGroup 里面的各个子系统中创建了 docker 目录，而 CAdvisor 运行时挂载了宿主机根目录和 /sys目录，从而CAdvisor 可以读取到容器的资源使用记录。比如下面可以看到容器b1f257当前时刻的 CPU 的使用统计。CGroup 详细介绍可以参见DOCKER 基础技术：LINUX CGROUP 。

# cat /sys/fs/cgroup/cpu/docker/b1f25723c5c3a17df5026cb60e1d1e1600feb293911362328bd17f671802dd31/cpuacct.stat 
user 95191
system 5028

而容器网络流量 CAdvisor 是从/proc/PID/net/dev中读取的，如上面的容器b1f257进程在宿主机的 PID 为6748，可以看到容器所有网卡的接收和发送流量以及错误数等。CAdvisor 定期读取对应目录下面的数据并定期发送到指定的存储引擎存储，而本地会默认存储最近2分钟的数据并提供UI界面查看。

# cat /proc/6748/net/dev
Inter-|   Receive                                                |  Transmit
 face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
  eth0: 6266314     512    0    0    0     0          0         0    22787     292    0    0    0     0       0          0
  eth1:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
    lo: 5926805    5601    0    0    0     0          0         0  5926805    5601    0    0    0     0       0          0

3 容器监控数据存储-InfluxDB

3.1 InfluxDB 配置和运行

InfluxDB是一个开源的分布式时序数据库，使用 GO 语言开发。特别适合用于时序类型数据存储，CAdvisor 搜集的容器监控数据用 InfluxDB 存储就很合适，而且CAdvisor 本身就提供了 InfluxDB 的支持，集成起来非常方便。

由于线上服务都 docker 化了，所以 InfluxDB 我们也是选择用容器来跑，通过容器管理系统统一管理。容器运行时的核心配置如下，主要挂载了数据库目录，以及配置了 consul 的服务注册，这样，CAdvisor 由于和 InfluxDB 处于同一个 overlay 子网中，不需要再开放端口给外部访问，CAdvisor 直接通过influxdb.service.consul:8086即可连接到 InfluxDB。

{
    "binds": [
         "{{volume_dir}}/influxdb/data:/var/lib/influxdb"
    ],
    "environment": {
       "SERVICE_INFO": {
             "Name": "influxdb",
             "Address": "{{register_ip}}",
             "Port": 8086,
        },
    },
    "image": "influxdb",
    "name": "influxdb-{{namespace}}",
    "tag": "latest"
}

为了存储 CAdvisor 的数据，需要预先创建好数据库并配置用户名密码以及相关权限。InfluxDB 提供了一套 influx 的 CLI，跟 mysql client 很相似。另外，InfluxDB 的数据库操作语言 InfluxQL 跟 SQL 语法也基本一致。进入 InfluxDB 容器，运行下面命令创建数据库和用户密码并授权。

# influx
Connected to http://localhost:8086 version 1.3.5
InfluxDB shell version: 1.3.5
> create database cadvisor  ## 创建数据库cadvisor
> show databases           
name: databases
name
----
_internal
cadvisor
> CREATE USER testuser WITH PASSWORD 'testpwd' ## 创建用户和设置密码
> GRANT ALL PRIVILEGES ON cadvisor TO testuser ## 授权数据库给指定用户
> CREATE RETENTION POLICY "cadvisor_retention" ON "cadvisor" DURATION 30d REPLICATION 1 DEFAULT ## 创建默认的数据保留策略，设置保存时间30天，副本为1

配置成功后，可以看到 CAdvisor 会通过 InfluxDB 的 HTTP API 自动创建好数据表，并将数据发送到 InfluxDB 存储起来。

root@b1f25723c5c3:/# influx
Connected to http://localhost:8086 version 1.3.1
InfluxDB shell version: 1.3.1
> use cadvisor
Using database cadvisor
> show measurements # 显示数据表与 SQL 略有不同，用的是关键字 measurements
name: measurements
name
----
cpu_usage_per_cpu
cpu_usage_system
cpu_usage_total
cpu_usage_user
fs_limit
fs_usage
load_average
memory_usage
memory_working_set
rx_bytes
rx_errors
tx_bytes
tx_errors

> select * from rx_bytes order by time desc limit 2;
name: rx_bytes
time                container_name       game machine            namespace    type          value
----                --------------       ---- -------            ---------    ----          -----
1504685259707223192 consul-agent-dev     cadvisor-10.x.x.x   dev      consul-agent   17858781633
1504685257769130660 manager-agent-dev    cadvisor-10.x.x.x   dev      manager-agent  1359398

3.2 InfluxDB 重要概念

influxdb 有一些重要概念：database，timestamp，field key， field value， field set，tag key，tag value，tag set，measurement， retention policy ，series，point，下面简要说明一下：

  • database：数据库，如之前创建的数据库 cadvisor。InfluxDB 不是 CRUD 数据库，更像是一个 CR-ud 数据库，它优先考虑的是增加和读取数据而不是更新删除数据的性能。
  • timestamp：时间戳，因为 InfluxDB 是时序数据库，它的数据里面都有一列名为 time 的列，存储记录生成时间。如 rx_bytes 中的 time 列，存储的就是时间戳。

  • fields: 包括 field key，field value 和 field set 几个概念。field key是字段名，在 rx_bytes 表中，字段名为 value。field value 是字段值，如 17858781633，1359398等。而 field set 是字段集合，由 field key 和 field value 构成，如 rx_bytes 中的字段集合如下：

    value = 17858781633
value = 1359398

    在 InfluxDB 表中，字段必须存在，而且字段是没有索引的。所以，字段相当于传统数据库中没有索引的列。

  • tags：包括 tag key， tag value， tag set 几个概念。tag key 是标签名，在 rx_bytes 表中，container_name, game, machine, namespace，type 都是标签。tag value 就是标签的值了。tag set就是标签集合，由 tag key 和 tag value 构成。InfluxDB 中标签是可选的，不过标签是有索引的。如果查询中经常用的字段，建议设置为标签而不是字段。标签相当于传统数据库中有索引的列。
  • retention policy: 数据保留策略，cadvisor 的保留策略为cadvisor_retention，存储30天，副本为1。一个数据库可以有多个保留策略。
  • measurement：类似传统数据看的表，是字段，标签以及time列的集合。
  • series：共享同一个 retention policy，measurement 以及 tag set 的数据集合。
  • point：同一个 series 中具有相同时间的字段集合，相当于 SQL 中的数据行。

3.3 InfluxDB 的特色功能

InfluxDB 作为时序数据库，相比传统数据库它有很多特色功能，比如独有的一些特色函数和连续查询功能。关于 InfluxDB 的更多详细内容可以参见官方文档。

  • 特色函数：有一些聚合类函数如 FILL()用于填充数据, INTEGRAL()计算字段所覆盖的曲面面积，SPREAD()计算表中最大与最小值的差值， STDDEV()计算字段标准差，MEAN()计算平均值, MEDIAN()计算中位数，SAMPLE()函数用于随机取样以及 DERIVATIVE()计算数据变化比等。
  • 连续查询：InfluxDB 独有的连续查询功能可以定期的缩小取样，就原数据库的数据缩小取样后存储到指定的新的数据库或者新的数据表中，在历史数据统计整理时特别有用。

4 容器监控数据可视化-Grafana

通过 CAdvisor 搜集容器的监控数据，存储到 InfluxDB 中，接下来就剩数据可视化的问题了。毕竟，一个可视化的图表可以很方便快速的看到容器的一些问题。图表展示我选择的是 Grafana。

Grafana 是一个开源的数据监控分析可视化平台，支持多种数据源配置(支持的数据源包括 InfluxDB，MySQL，Elasticsearch，OpenTSDB，Graphite 等)和丰富的插件及模板功能，支持图表权限控制和报警。

Grafana 同样也是以容器方式运行，容器启动配置如下，主要是挂载了 grafana 的数据和日志目录，设置了管理员的密码，并开放了8888端口作为 grafana 的访问端口：

{
    "binds": [
          "{{volume_dir}}/grafana/data:/var/lib/grafana",
          "{{volume_dir}}/grafana/log:/var/log/grafana"
    ],
    "environment": {
        "GF_SECURITY_ADMIN_PASSWORD": "testpwd"
    },
    "image": "grafana/grafana",
    "name": "grafana-{{namespace}}",
    "port_bindings": {
        "3000": 8888
    },
    "ports": [
        3000
    ],
    "tag": "latest"
}

启动之后就可以在http://IP:8888/页面去配置数据源了，一个示例如下:

Docker 容器监控系统初探

配置完数据源，就可以添加 Panel 来实现数据可视化了。Grafana 的图表功能十分强大，在配置数据查询语句的时候也是十分智能，会对数据源，数据表，数据字段自动提示，而且对 InfluxDB 的所有函数都有分类可以直接选取配置。需要注意的一点就是在配置字节类数据(比如网卡接收流量 rx_bytes 和 内存使用量 memory_usage)的时候单位要选 data(IEC) 这个类别。

Docker 容器监控系统初探

5 总结

使用 CAdvisor+InfluxDB+Grafana 构建容器资源监控系统，是可行而且是较为简便的方式。这三个组件全部以容器的方式运行，也符合我们线上服务皆为容器的理念。目前已经全面上线该监控系统，运行正常，数据可视化效果良好。除了用于可视化监控之外，这些数据后续还会用于系统异常检测算法和容器智能调度算法中。

作者：__七把刀__
链接：https://www.jianshu.com/p/abf...
來源：简书

更多相关内容
Docker底层技术
Docker可视化监控？看这篇文章
利用TICK搭建Docker容器可视化监控中心
Docker容器可视化监控中心搭建

如果你还想了解更多，想和技术同僚分享切磋，可扫下方二维码，回复yw，加入掘金运维技术交流群

Docker 容器监控系统初探

docker 容器 cadvisor influxdb

projectharbor

projectharbor

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

docker容器与宿主机的数据交互方式总结

在生产环境中使用 Docker ，往往需要对数据进行持久化，或者需要在多个容器之间进行数据共享，这必然涉及容器的数据管理操作。docker cp :用于容器与主机之间的数据拷贝。当删除Docker容器，并通过该镜像重新启动时，之前的更改将会丢失。在Dock

yangkang 2020-11-09

Docker不再是唯一的选择

Docker并不是唯一的容器化工具，可能还有更好的选择……在容器的早期时代，Docker是容器游戏中唯一的玩家。但现在情况已经不一样了，Docker不再是唯一的一个，而只是其中一个容器引擎而已。Docker允许我们构建、运行、拉、推或检查容器镜像，然而对于

ChlatZed 2020-11-11

IT工程师都需要掌握的容器技术之Dockerfile

今天我们继续来学习Docker技术，本篇文章主要介绍Dockerfile，Dockerffile是一个文本文件，Docker通过读取Dockerfile文件来自动构建镜像。下面就由成哥来介绍Dockerfile的语法及使用方法吧!Dockerfile相当于

xysoul 2020-11-03

Docker 卷到底是个啥玩意？从使用到深入！

Docker 支持持久化和非持久化两种方式的存储。非持久化化存储自动创建，从属于容器，生命周期与容器相同，即删除容器也会删除全部非持久化数据。卷与容器是解耦的，从而可以独立地创建并管理卷，并且卷也不与任意容器声明周期绑定，即用户删除一个关联了卷的容器，但是

lnkToKing 2020-10-29

IT工程师都需要掌握的容器技术之Docker存储管理

小伙伴们我们容器技术文章又来啦，今天这边文章主要为大家讲解容器存储，通过本篇文章我们可以了解到容器镜像结构、将主机数据挂载到容器的方式、容器数据卷及数据卷的备份与恢复等技术，下面我们就一起来学习吧!针对上述问题，Docker 提供了四种不同的方式将数据从

ChlatZed 2020-10-27

Docker 容器监控方案怎么选？看看这套开源方案

随着线上服务的全面docker化，对docker容器的监控就很重要了。SA的监控系统是物理机的监控，在一个物理机跑多个容器的情况下，我们是没法从一个监控图表里面区分各个容器的资源占用情况的。为了更好的监控容器运行情况，更重要的是为了后续的容器动态调度算法需

dusuanyun 2020-09-21

Node.js web 应用如何封装到Docker容器中

小小又开始学习新的内容了。这次学习的是，把一个Node.js 应用封装到Docker容器，完成本教程的前提是拥有一个可以安装的，已经正常可以工作的Docker。本教程的第一部分，需要创建一个Web应用程序，然后为这个应用程序构建一个Docker镜像，最后把

newisI 2020-09-01

如何使用Docker容器化Node.js应用程序

容器化应用程序在当今世界越来越流行，因为它们能够解决几乎每个项目团队都面临的一些主要问题。在本文中，我将告诉你如何使用Docker容器化你的node.js应用程序。在继续之前，请确保你的计算机中已安装Docker。完成安装过程后，打开Docker Desk

fearlessxjdx 2020-09-04

快速制作Redis Docker镜像

现在容器化已经是趋势，制作镜像也是我们的基础工作。镜像越小，部署起来越方便。在这个方面，轻巧的Linux发行版本就是一个很好的选择，这里我们选择alpine linux 。目前最新版本是3.12.1。官方很友好的提供了minirootfs的包，这个包就是为

王道革 2020-11-25

Docker 文档编译 - 创建标签（Tab）页

标签页使用的是 Bootstrap CSS/JS，因此请参考相关的文档来获得有关标签页使用的更多有关内容和信息。针对标准的水平标签页，你可以拷贝和粘贴下面的表单内容，在上面的表单内容中关键的地方在href="#id"和id="

bwyyziq 2020-11-22

Ubuntu 安装Docker

Unbutu系统上安装Docker服务，为保证docker服务的运行未定，需要使用与之相匹配的docker版本，使用命令。若看到上述信息，表明docker安装成功！默认情况下，docker从hub上下载需要安装的进行，囿于这些hub位于国外，下载速度缓慢，

pigsmall 2020-11-19

Docker CentOS 安装方法

绝大部分用户使用 设置 Docker 的仓库 ，然后从设置成功后的仓库进行安装。为了更加容易进行安装和升级任务，Docker 的官方推荐使用这种安装方式来进行安装。这种方法主要针对一些系统不具有联网环境，你需要下载后进行安装。在一些测试和部署环境中，一些用

changecan 2020-11-19

docker CPU限制的实现

2）例如：如果主机有2个CPU，设置--cpus="1.5"，则可以报称容器醉倒 容纳一半的CPU，相当于设置--cpu-period="100000"和--cpu-quota="150000".

helloWorldAndYou 2020-11-16

Docker部署nginx实现过程图文详解

docker.io/redis latest 1e70071f4af4 6 weeks ago 106.7 MB. [root@localhost my.Shells]# docker pull nginx //下载nginx

nginxs 2020-11-14

Docker服务器存储资源池不足的问题解决

最近在执行 Docker 运行命令启动镜像时候，无法正常执行 Docker 启动镜像命令，提示了如下错误信息：。Error: Error response from daemon: devmapper: Thin Pool has 163051 free

红石丶 2020-11-13

用docker运行postgreSQL的方法步骤

drwx------ 19 polkitd ssh_keys 4096 Jan 14 08:40 .drwxr-xr-x 3 root root 4096 Jan 14 08:33 ..drwx------ 5 polkitd ssh_keys 40

WanKaShing 2020-11-12

docker之docker-machine用法详解

docker-machine 是docker官方提供的docker管理工具。环境win下面安装的virtualbox，virtualbox安装的centos7，网络模式NAT+hostonly. Error with pre-create check: &

yangkang 2020-11-12

利用 Docker 构建简单的 java 开发编译环境的方法详解

目前 Java 语言的版本很多，除了常用的 Java 8，有一些遗留项目可能使用了 Java 7，也可能有一些比较新的的项目使用了 Java 10 以上的版本。如果想切换自己本地的 Java 开发环境，折腾起来还是需要花费一些时间的，并且日后在不同版本间切

滴水穿石点石成金 2020-11-12

Docker如何给Springboot项目动态传参的实现方法

最近有些初学Docker的朋友问到，想通过docker-compose.yml来动态给微服务传参，而不是每次都要在项目配置文件硬编码，然后构建服务镜像，最后打包发布经过一些列流程才能更新配置，那能不能直接通过docker-compose.yml里把一些配置

张荣珍 2020-11-12

详解SpringBoot项目docker环境运行时无限重启问题

可能是我开始处理问题的思路不对，现在描述问题可能也有点乱，但是里面可能的处理方式希望能帮到遇到我这个坑的人。描述：springboot项目，docker镜像里面运行，看docker的日志，项目启动成功后，隔了一分钟左右他就自动重新启动，然后造成网站接口访问

wuxunanjing 2020-11-11
projectharbor

projectharbor

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号