浅析flannel与docker结合的机制和原理
flannel
flannel可以为容器提供网络服务。
其模型为全部的容器使用一个network，然后在每个host上从network中划分一个子网subnet。
为host上的容器创建网络时，从subnet中划分一个ip给容器。
其采用目前比较流行的no server的方式，即不存在所谓的控制节点，而是每个host上的flanneld从一个etcd中获取相关数据，然后声明自己的子网网段，并记录在etcd中。
其他的host对数据转发时，从etcd中查询到该子网所在的host的ip，然后将数据发往对应host上的flanneld，交由其进行转发。
根据kubernetes的模型，即为每个pod提供一个ip。flannel的模型正好与之契合。因此flannel是最简单易用的kubernetes集群网络方案。
flannel与docker的结合
flannel的工作原理这里不重复赘述。网上有很多资料。本文主要讲一下flannel是怎么与docker结合起来的。
flannel服务启动
flannel服务需要先于docker启动。flannel服务启动时主要做了以下几步的工作：
- 从etcd中获取network的配置信息
- 划分subnet，并在etcd中进行注册
- 将子网信息记录到
/run/flannel/subnet.env中
[root@localhost run]# cat /run/flannel/subnet.env FLANNEL_NETWORK=4.0.0.0/16 FLANNEL_SUBNET=4.0.34.1/24 FLANNEL_MTU=1472 FLANNEL_IPMASQ=false
- 之后将会有一个脚本将subnet.env转写成一个docker的环境变量文件
/run/flannel/docker
[root@localhost run]# cat /run/flannel/docker DOCKER_OPT_BIP="--bip=4.0.34.1/24" DOCKER_OPT_IPMASQ="--ip-masq=true" DOCKER_OPT_MTU="--mtu=1472" DOCKER_NETWORK_OPTIONS=" --bip=4.0.34.1/24 --ip-masq=true --mtu=1472 "
docker服务启动
接下来，docker daemon启动，使用/run/flannel/docker中的变量，作为启动参数，启动后的进程如下
[root@localhost ~]# ps -fe|grep docker root 4538 4536 0 Jul20 ? 00:08:04 /usr/bin/docker-current daemon --exec-opt native.cgroupdriver=systemd --selinux-enabled --log-driver=journald --bip=4.0.100.1/24 --ip-masq=true --mtu=1472
容器启动
容器之后的启动，就是由docker daemon负责了。因为配置了bip，因此创建出来的容器会使用该网段的ip，并赋给容器。即容器其实还是按照bridge的模式，进行创建的。
flannel与docker结合原理
现在问题来了，容器之间是怎么互通的呢？这里先要说道flanneld，他会在宿主机host上创建一个flannel0的设备。
[root@localhost ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: enp0s3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 08:00:27:b7:7e:f3 brd ff:ff:ff:ff:ff:ff
inet 10.8.65.66/24 brd 10.8.65.255 scope global dynamic enp0s3
valid_lft 67134sec preferred_lft 67134sec
inet6 fe80::a00:27ff:feb7:7ef3/64 scope link
valid_lft forever preferred_lft forever
5: flannel0: <POINTOPOINT,MULTICAST,NOARP,UP,LOWER_UP> mtu 1472 qdisc pfifo_fast state UNKNOWN qlen 500
link/none
inet 4.0.100.0/16 scope global flannel0
valid_lft forever preferred_lft forever
6: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1472 qdisc noqueue state UP
link/ether 02:42:2e:5e:cd:90 brd ff:ff:ff:ff:ff:ff
inet 4.0.100.1/24 scope global docker0
valid_lft forever preferred_lft forever
inet6 fe80::42:2eff:fe5e:cd90/64 scope link
valid_lft forever preferred_lft forever接下来我们在看宿主机host上的路由信息。
[root@localhost ~]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 10.8.65.1 0.0.0.0 UG 100 0 0 enp0s3 4.0.0.0 0.0.0.0 255.255.0.0 U 0 0 0 flannel0 4.0.100.0 0.0.0.0 255.255.255.0 U 0 0 0 docker0 10.8.64.10 10.8.65.1 255.255.255.255 UGH 100 0 0 enp0s3 10.8.65.0 0.0.0.0 255.255.255.0 U 100 0 0 enp0s3
现在有三个容器分别是A/B/C
| 容器 | ip |
|---|---|
| A | 4.0.100.3 |
| B | 4.0.100.5 |
| C | 4.0.32.3 |
当容器A发送到同一个subnet的容器B时，因为二者处于同一个子网，所以容器A/B位于同一个宿主机host上，而容器A/B也均桥接在docker0上。
[root@localhost ~]# brctl show
bridge name bridge id STP enabled interfaces
docker0 8000.02422e5ecd90 no veth2d1c803
veth916067e借助于网桥docker0，容器A/B即可实现通信。
那么位于不同宿主机的容器A和C如何通信呢？这个时候就要用到了flannel0这个设备了。
容器A想要发送给容器C，查路由表，可以知道需要使用flannel0接口，因此将数据发送到flannel0。
flanneld进程接收到flannel0接收的数据，然后从etcd中查询出4.0.32.0/24的子网的宿主机host的ip10.8.65.53。
[root@localhost calico]# etcdctl get /coreos.com/network/subnets/4.0.32.0-24
{"PublicIP":"10.8.65.53"}然后将数据封包，发送到10.8.65.53的对应端口，由10.8.65.53的flanneld接收，解包，并转发到对应的容器中。